[导读]:本人的一个博客站,现在收录文章出来了问题,想请问如何设置robots协议,屏蔽蜘蛛抓取URL后面的红色部分,现在百度蜘蛛抓取的很多文章都是URL后面的,具体如图,应该是网站...
本人的一个博客站,现在收录文章出来了问题,想请问如何设置robots协议,屏蔽蜘蛛抓取URL后面的红色部分,现在百度蜘蛛抓取的很多文章都是URL后面的,具体如图,应该是网站模板的问题,不想修改模板,想直接写robot协议屏蔽蜘蛛抓取,谢谢

Disallow: /星号.html/星号
###可以屏蔽,但事先先找下原因,这些地址是从哪里过来的,另外你写的屏蔽规则不对,我用手机回答你的,不好编辑,建议你去百度站长平台上看下,里面有详细的介绍
###还可以屏蔽一段?要屏蔽就整个地址屏蔽掉了
还是老老实实改模板吧,不然url太乱后期搞死自己
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/29837.html