[导读]:百度抓取有些异常,高手帮忙看一下。 不知道为什么百度抓取我网站的数据有些异常,抓取图片和css、js的次数特别多有一个文件夹里只有32张图片竟然抓取了860次。 我用的是爱...
百度抓取有些异常,高手帮忙看一下。
不知道为什么百度抓取我网站的数据有些异常,抓取图片和css、js的次数特别多有一个文件夹里只有32张图片竟然抓取了860次。
我用的是爱占日志检测工具检测的,除了图片以及样式和JS抓取之外,剩下的栏目、文章等什么的抓取非常少,这个要咋整,求大神告知。
不要单独看抓取次数,还要研究下抓取蜘蛛ip到底是不是百度的,有的采集程序冒充百度蜘蛛。
###建议你在Robots里面把JS、css等不希望被抓取的内容屏蔽下。
以免造成蜘蛛抓取上的资源浪费。
看一下空间是否稳定,同时分析IIS日志,检查Robots是否屏蔽,同时 要看是否让黑
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/37585.html