[导读]：最近蜘蛛总是爬取重复的页面，来的次很多，其他页面却不被爬取，就是网站一些页面不想被爬取抓取的，我怎么不让蜘蛛抓取重复的页面？谢谢哥哥姐姐指点一二谢谢。 Robo...
最近蜘蛛总是爬取重复的页面，来的次很多，其他页面却不被爬取，就是网站一些页面不想被爬取抓取的，我怎么不让蜘蛛抓取重复的页面？谢谢哥哥姐姐指点一二谢谢。
Robots.txt
###可以Nofollow一下
###写Robots文件，禁止爬取不想让蜘蛛爬取的页面，但是切记不要写错了 之前我写robots文件写错了把所有页面都禁止爬取了
###页面Nofollow
Robots在设置下
###在robot文件里设置
###Robots.txt
###单独设置
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/105339.html
