[导读]:比如网站www点abc点com 又用域名管理www点abc点com:8000端口 现在蜘蛛抓取了www点abc点com 请问如何屏蔽蜘蛛抓取这个www点abc点com:8080呢? Disallow: *:8080 我觉得是这样写,用正则表达式...
比如网站www点abc点com
又用域名管理www点abc点com:8000端口
现在蜘蛛抓取了www点abc点com
请问如何屏蔽蜘蛛抓取这个www点abc点com:8080呢?
Disallow: *:8080
我觉得是这样写,用正则表达式
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/19545.html