[导读]：上传sitemap.txt文件后，蜘蛛来爬行的就少了。 网站有很多没有被收录的网页，我整理一下，把未收录的网址做成了sitemap.txt文件上传到网站根目录，并且还在百度站长平台的sit...
上传sitemap.txt文件后，蜘蛛来爬行的就少了。
网站有很多没有被收录的网页，我整理一下，把未收录的网址做成了sitemap.txt文件上传到网站根目录，并且还在百度站长平台的sitemap进行了地址设置，抓取频次设置为1小时一次。
之后发现蜘蛛来抓取的次数越来越少 几乎都是7.8次。并且多次都在抓取robots.txt文件，我的目录并没有这个文件。请问各位老师，这是怎么回事，如何提高蜘蛛的抓取频次。着急。求你们的帮忙！！！
谢谢。
你用的什么CMS？返回码都是301，是不是服务器有设置错误，比如默认的404设置？
如果蜘蛛习惯性抓取Robots文件，那就直接把Sitemap写到robots文件里
我只奇怪一件事，你Robots不存在为何返回301 啊？
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/29079.html
