首页 > 问答 > 百度蜘蛛有一半抓取量在抓取一个/ajax.ashx的文件

百度蜘蛛有一半抓取量在抓取一个/ajax.ashx的文件

[导读]:这个/ajax.ashx文件是什么文件,要不要屏蔽它? 估计不是一个内页。 你看下,如果无法正常访问,则可以通过Robots.txt屏蔽。 每天抓取那么多,确实辛苦蜘蛛了。...

这个/ajax.ashx文件是什么文件,要不要屏蔽它?



估计不是一个内页。
你看下,如果无法正常访问,则可以通过Robots.txt屏蔽。
每天抓取那么多,确实辛苦蜘蛛了。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/29403.html