下我网站日志里出现的信息,我想知道为什么图片和css会返加200 0 64状态码?301 0 0 的那个后台为什么会出现。robot.txt已屏蔽蜘蛛爬后台了?等待高手解答。谢谢
2013-01-09 00:59:47 W3SVC1541590474 119.57.81.214 GET /skins/images/zjzx.png - 80 - 221.194.156.47 Wget/1.9+cvs-stable+(Red+Hat+modified) 200 0 64
2013-01-09 00:59:45 W3SVC1541590474 119.57.81.214 GET /skins/css/3J.css - 80 - 221.194.156.135 Wget/1.9+cvs-stable+(Red+Hat+modified) 200 0 64
2013-01-09 00:59:50 W3SVC1541590474 119.57.81.214 GET /index.php m=poster&c=index&a=show&siteid=1&spaceid=13&id=13 80 - 221.194.156.135 Wget/1.9+cvs-stable+(Red+Hat+modified) 301 0 0
这个正常,css百度蜘蛛会访问的!
关于网站已经robot.txt的URL,百蜘蛛还抓取,这也是经常的事,抓取不代表会索引,谈定!
robot对百度蜘蛛没效果,百度有有说明的。
百度原文如下:
3. 我在robots.txt中设置了禁止百度收录我网站的内容,为何还出现在百度搜索结果中?
如果其他网站链接了您Robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。
4. 禁止搜索引擎跟踪网页的链接,而只对网页建索引
如果您不想搜索引擎追踪此网页上的链接,且不传递链接的权重,请将此元标记置入网页的
如果您不想百度追踪某一条特定链接,百度还支持更精确的控制,请将此标记直接写在某条链接上:
sign in
要允许其他搜索引擎跟踪,但仅防止百度跟踪您网页的链接,请将此元标记置入网页的 部分:
5. 禁止搜索引擎在搜索结果中显示网页快照,而只对网页建索引
要防止所有搜索引擎显示您网站的快照,请将此元标记置入网页的部分:
要允许其他搜索引擎显示快照,但仅防止百度显示,请使用以下标记:
注:此标记只是禁止百度显示该网页的快照,百度会继续为网页建索引,并在搜索结果中显示网页摘要。
6. 我想禁止百度图片搜索收录某些图片,该如何设置?
禁止Baiduspider抓取网站上所有图片、禁止或允许Baiduspider抓取网站上的某种特定格式的图片文件可以通过设置robots实现,请参考“robots.txt文件用法举例”中的例10、11、12。###
我想知道为什么图片和css会返加200 0 64状态码?
200 代表你浏览器请求成功。
301 0 0 的那个后台为什么会出现
这个应该是你在后台提交了一个一个请求以后,返回其他页面,是正常的。
比如添加,修改完信息以后,后台会返回到信息列表页面,肯定会重定向到。
还有没有在你的日志看到爬虫来的痕迹。
百度的是
"Mozilla/ (compatible; Baiduspider/ +)"
我想你的把web日志和百度记录混了
web日志:是所有用户访问你网站的记录,包括正常的用户访问,后台的管理,还有爬虫的来访。
我们是通过这个
"Mozilla/ (compatible; Baiduspider/ +)"
来区分是不是爬虫的,是哪个爬虫。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/23151.html