首页 > 问答 > 请问有没有大神知道如何用Robots文件禁止百度蜘蛛抓取异常链接

请问有没有大神知道如何用Robots文件禁止百度蜘蛛抓取异常链接

[导读]:是这样的一个情况,我每次提交404死链的时候,我都会发现有一个异常链接,而这个链接是跟在我的域名后面的,我不知道为什么递交了好几次404死链,删除了,要不了了解就又...

是这样的一个情况,我每次提交404死链的时候,我都会发现有一个异常链接,而这个链接是跟在我的域名后面的,我不知道为什么递交了好几次404死链,删除了,要不了了解就又有了,我查询过那个域名是一个养鱼的网站,于是我被百度反馈,百分反馈说叫我用Robots文件禁止不需要抓取的链接,截图在下面,那个异常链接也在我给百分反馈的问题里面,那么如何用Robots文件才能禁止百度蜘蛛抓取这个异常链接呢?



不想抓取的链接写入Robots文件里就行了啊,这个很简单

###

不太明白

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/106382.html