[导读]：我想禁止蜘蛛抓取某一个页面，这个页面在主域名下：www.xxx.com/xx.html 这样生成的robots可以吗？ 1.在Robots.txt 里面设置添加一下。 2.正确的使用nofloow标签 3.不提交内容。 4. 不用...
我想禁止蜘蛛抓取某一个页面，这个页面在主域名下：www.xxx.com/xx.html 这样生成的robots可以吗？
1.在Robots.txt 里面设置添加一下。
2.正确的使用nofloow标签
3.不提交内容。
4. 不用H1标签来设置。
这是只针对百度蜘蛛的，如果是禁止所有搜索引擎的蜘蛛爬虫需要将Baiduspider改成*号！
###可以。
生成的是正确的。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/28453.html
