首页 > 问答 > 日志显示蜘蛛抓取了很多目录,但却无此目录?

日志显示蜘蛛抓取了很多目录,但却无此目录?

[导读]:建议用Robots.txt禁止网络蜘蛛爬行和抓取 ### 禁止 2. 检查网站代表性页面或者模板,是否有以上目录,找到删除之 ### 用Robots.txt 写代码禁止下...



建议用Robots.txt禁止网络蜘蛛爬行和抓取

###

禁止
2. 检查网站代表性页面或者模板,是否有以上目录,找到删除之

###

用Robots.txt 写代码禁止下

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/17707.html