[导读]：怎样告诉蜘蛛不让抓取页面某些内容，因为蜘蛛抓取有的页面不存在被删除了，我需要怎么做？高手解答疑问谢谢！ 禁止，然后做个404页面 ### 页面不存在了，你就不要给这个页...
怎样告诉蜘蛛不让抓取页面某些内容，因为蜘蛛抓取有的页面不存在被删除了，我需要怎么做？高手解答疑问谢谢！
禁止，然后做个404页面
###页面不存在了，你就不要给这个页面留入口啊，没有入口蜘蛛就没法进行抓取，或者只能用Robots禁止，不管他是否抓不抓，但是不会收录造成死链。
###坐等大神解答，反正我是不相信什么狗屁Robots的，该写写，该抓还得抓，毛用！
###禁止 提交死链
###用Robots禁止爬取
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/96123.html
