首页 > 问答 > 为啥通过robots.txt文件禁止百度抓取的页面一直不删除收录的页面

为啥通过robots.txt文件禁止百度抓取的页面一直不删除收录的页面

[导读]:www.liangchen520.com 这个网站改版后,之前有一些老链接失效了,一直被百度收录,设置禁止抓取一直没有删除,几个月了。 User-agent:* Disallow: /index.php/detail/cybq/17 Disallow: /index.ph...

www.liangchen520.com 这个网站改版后,之前有一些老链接失效了,一直被百度收录,设置禁止抓取一直没有删除,几个月了。

User-agent:*

Disallow: /index.php/detail/cybq/17

Disallow: /index.php/detail/qtzb/25

Disallow: /index.php/detail/cpdh/52

Disallow: /index.php/category/qtzb

Disallow: /index.php/detail/cybq/15

Disallow: /index.php/detail/lcrd/15

Disallow: /index.php/detail/cybq/16

Disallow: /index.php/detail/qtzb/28

Disallow: /index.php/detail/qtzb/27

Disallow: /index.php/detail/lcrd/6

Disallow: /index.php/detail/lcrd/17

Disallow: /index.php/detail/cybq/21

Disallow: /index.php/detail/cybq/18

Disallow: /index.php/detail/cybq/19

Disallow: /index.php/detail/lcrd/28

Disallow: /index.php/detail/lcrd/16

Disallow: /index.php/detail/qtzb/63

Disallow: /index.php/category/cybq

投诉百度快照

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/96376.html