[导读]:如何写出这个代码: Disallow: **.asp 空间和域名都检查过,没问题 Disallow: / asp? ### Disallow: / ? 一般收录的话,最好是收录asp页面, 你直接设置成为静止访问所有包含?的网页就可以...
如何写出这个代码:
Disallow: **.asp
空间和域名都检查过,没问题
Disallow: /asp?
###Disallow: /? 一般收录的话,最好是收录asp页面, 你直接设置成为静止访问所有包含?的网页就可以了!
###看了网站,现在这些动态URL都已是死链接,而且网站是做了URL伪静态的。
可以Robots把所有动态URL屏蔽一下即可。
先加上这几条,还可以根据网站日志里面蜘蛛抓取的动态URL和已经收录的动态URL及时添加:
Disallow: /*.asp
Disallow: /Disallow: /Disallow: /products_Disallow: /Disallow: /Disallow: /Disallow: /Disallow: /Disallow: /
这个并无大碍!
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/21854.html