[导读]：今天观察日志，发现昨天是在下面的这个栏目下更新的文章： /news/A/209.html 但是发现蜘蛛不仅抓取了 /news/A/209.html，还错误的抓取了这个url /news/B/209.html 网站用的织梦，看了下...
今天观察日志，发现昨天是在下面的这个栏目下更新的文章：
/news/A/209.html但是发现蜘蛛不仅抓取了 /news/A/209.html，还错误的抓取了这个url
/news/B/209.html网站用的织梦，看了下FTP，B这个栏目下根本就没有209.html，发布的文章肯定是在A这个栏目的。
最近每天看日志，都发现这种问题，每次都是整理好后，提交百度死链。
想问下，这种情况，是什原因？
对蜘蛛池具体问题了解的不多，如果需要蜘蛛池服务器可以跟我联系
###其实很多网站都存在 这样的问题，解决的方法一个是提交死链，另一个是使用Robots屏蔽，当然这两种方法都不是最好的，如果懂程序的话就可以深入分析，到底蜘蛛是怎么抓取这些不存在的问题的。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/39360.html
