[导读]:站内有几百个栏目,都被百度收录了,其实不想收录,因为栏目的内容都是调用的,大量的重复本身就不好,现在想把这些收录的栏目全部写robots.屏蔽掉有用吗? 或者是写nof...
站内有几百个栏目,都被百度收录了,其实不想收录,因为栏目的内容都是调用的,大量的重复本身就不好,现在想把这些收录的栏目全部写robots.屏蔽掉有用吗? 或者是写nofollow?
各位大神怎么看?
删除404是不可能的 谢谢了。
如果要彻底拒绝收录,那要Robots。
Nofollow的话,可以节省无谓的抓取,但还是会从其他渠道抓取到。
支持一楼的,如果你页面结构相同,镜像页面的链接结构类似,可以用Robots屏蔽掉,更方便
不过如果量大而且很繁杂,全写robots会造成spider压力过大,你可以考虑在百度站长工具提出部分板块的改版保护,进行删除重置404。这也是不错的选择,
百度爬行网站时,先爬根目录下的Robots文件,robots文件主查一些不让爬行的文件夹,蜘蛛会根据robots标注,遇到这些文件夹就绕行,不爬也不收。
而Nofollow标签 一般都会写网站模板时,一般只是一个链接页面。蜘蛛遇到nofollow,同样也不会再爬行。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/31434.html