robots问题
[导读]:网站根目录下的 list.php bencandy.php index.php listx.php 要不要设置添加到Disallow: / 禁止百度收录呢 因为我公司网站,都是伪静态带参数的,像下面的形式 list.php?fid-41-page-1.htm bencandy...
网站根目录下的
list.php
bencandy.php
index.php
listx.php
要不要设置添加到Disallow: / 禁止百度收录呢
因为我公司网站,都是伪静态带参数的,像下面的形式
list.php?fid-41-page-1.htm
bencandy.php?fid-41-id-240-page-1.htm
不需要。。。
###不用的。如果你设置了搜索引擎屏蔽,很可能会造成搜索引擎收录你的网站链接出现问题。
你要是不想让搜索引擎收录这些链接,你可以写一个判断,判断后面没有参数的时候返回404状态码。
不给动态地址入口就可以了。
###不用屏蔽,屏蔽有可能会造成收录影响
###伪静态的情况就不需要了。
###谢邀请。你这个不需要 屏蔽的
###Robots 是蜘蛛协议,你告诉蜘蛛哪些文件不要抓取或者抓取。
4点好处
1.减少重复页面
2. 减少蜘蛛没有意义的抓取,增加其他的抓取量
3. 减少带宽
4. 放入地图
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/26891.html