[导读]:手上一个网站,近期查看蜘蛛日志,大部分220.181.108.与123.125.71.蜘蛛都是在BBS这个页面里面内容页爬行的。每天查询,日志都比较正常,今天查询时发现有一个123.125.68.蜘蛛爬行...
手上一个网站,近期查看蜘蛛日志,大部分220.181.108.与123.125.71.蜘蛛都是在BBS这个页面里面内容页爬行的。每天查询,日志都比较正常,今天查询时发现有一个123.125.68.蜘蛛爬行过BBS这个主页面,请问下BBS还是继续放着让蜘蛛爬行会对网站有什么影响吗?
第一:你的BBS你是想被收录还是不被收录,这个问题没有说清楚;
第二:除了BBS的根目录或者其他目录没有内容了吗?
第三:其他目录是否蜘蛛能够去抓取到?
第四:你的问题你可以用Robots.txt解决。
第五:对网站肯定有影响,蜘蛛爬取就会收录你的网站,是否放出参与索引不由蜘蛛决定。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/25988.html