[导读]：网站已经运行5个月，网站服务器日志一直出现一个非常不解的现象。 可能你的日志工具有问题，或者你日志分析方法有问题 ### 百度与谷歌都是会去爬你的任何文件的，除非r...
网站已经运行5个月，网站服务器日志一直出现一个非常不解的现象。
可能你的日志工具有问题，或者你日志分析方法有问题
###百度与谷歌都是会去爬你的任何文件的，除非robot禁止。
爬行Robots是正常不过了，robots是指引蜘蛛的文件。
类似JS、css文件的爬行如果不多的话，可以忽略，如果太多，可以在robots里面disallow掉。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/21298.html
