我奇了怪，为什么百度蜘蛛来了，提示抓取21个，为什么通过日志分析发现，没有什么页面？难道每次都是首页，还是？
不知道大家有没有遇到过这种情况？这几天一直是这样的，蜘蛛来那么几次，通过光年工具分析，说是有抓取，通过日志源文件查看，也是有的，可是就是看不到抓取的页面。
我怀疑是不是我的robots.txt设置有问题，大家帮忙看看，谢谢！

robots.txt的地址：www点jmall点cn/robots.txt 是不是我的robots.txt设置有问题啊？

你好这个只是你 空间程序里面的日志工具有问题 显示不出来蜘蛛爬取到哪个页面罢了 建议去咨询下网站空间商