首页 > 问答 > 网站收录很多asp页面(本身是html的文件),如何用robots屏蔽掉

网站收录很多asp页面(本身是html的文件),如何用robots屏蔽掉

[导读]:如何写出这个代码: Disallow: **.asp 空间和域名都检查过,没问题 Disallow: / asp? ### Disallow: / ? 一般收录的话,最好是收录asp页面, 你直接设置成为静止访问所有包含?的网页就可以...

如何写出这个代码:
Disallow: **.asp
空间和域名都检查过,没问题



Disallow: /asp?

###

Disallow: /? 一般收录的话,最好是收录asp页面, 你直接设置成为静止访问所有包含?的网页就可以了!

###

看了网站,现在这些动态URL都已是死链接,而且网站是做了URL伪静态的。
可以Robots把所有动态URL屏蔽一下即可。

先加上这几条,还可以根据网站日志里面蜘蛛抓取的动态URL和已经收录的动态URL及时添加:

Disallow: /*.asp
Disallow: /Disallow: /Disallow: /products_Disallow: /Disallow: /Disallow: /Disallow: /Disallow: /Disallow: /

###

这个并无大碍!

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/21854.html