首页 > 问答 > 为什么蜘蛛频繁抓取temples,imges,uploads文件夹?

为什么蜘蛛频繁抓取temples,imges,uploads文件夹?

[导读]:再等等吧,一般情况下,robost文件生效是很慢的,除非的你的网站是新站,很多时候,即是做了robost也同样不能避免被爬取,被爬并不代表会被抓取,即使抓取了,也不一定会放...



再等等吧,一般情况下,robost文件生效是很慢的,除非的你的网站是新站,很多时候,即是做了robost也同样不能避免被爬取,被爬并不代表会被抓取,即使抓取了,也不一定会放出来。这点担心,有点多余,放宽心,让其自然就好了。

###

耐心等,不是说对于百度不可以以常理已度之

###

这个真是没有办法了吗?我们网站也有这样的情况,屏蔽的页面就百度蜘蛛抓,其他的搜索引擎还好,我也想知道还有没有办法解决,关注中。。。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/18851.html