[导读]：大家好，今天查看网站日志，发现我的robots.txt被百度抓取了105次，不知道这代表个什么意思，希望能懂的朋友们能说一下，谢谢 这个没事。Robots.txt 各个网站都经常被抓取，蜘...
大家好，今天查看网站日志，发现我的robots.txt被百度抓取了105次，不知道这代表个什么意思，希望能懂的朋友们能说一下，谢谢
这个没事。Robots.txt 各个网站都经常被抓取，蜘蛛先判断这里的内容，知道哪些页面不该抓取，然后对网站具体页面展开抓取。
###你这是什么日志分析工具呀
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/26515.html
