首页 > 问答 > 用robots屏蔽的链接,百度蜘蛛还是会抓取怎么回事?

用robots屏蔽的链接,百度蜘蛛还是会抓取怎么回事?

[导读]:为什么我用robots屏蔽了一些网站不存在的链接,查看网站日志还是有百度蜘蛛抓取? 过段时间看看,这个不是立马见效的...

为什么我用robots屏蔽了一些网站不存在的链接,查看网站日志还是有百度蜘蛛抓取?



过段时间看看,这个不是立马见效的

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/29877.html