[导读]:User-agent: * Disallow: /0556/ Disallow: /0915/ Disallow: /0412/ ... 这样写的话,蜘蛛还会不会抓取 www.xxx.com/0556 www.xxx.com/0915 ... 这个二级目录页面 你看看百度官方给出的这个说明就可以...
User-agent: *
Disallow: /0556/
Disallow: /0915/
Disallow: /0412/
...
这样写的话,蜘蛛还会不会抓取
www.xxx.com/0556
www.xxx.com/0915
...
这个二级目录页面
你看看百度官方给出的这个说明就可以了。
链接为:也就是说非这个目录下面的内容还是会被抓取的。
彻彻底底的蒙圈了,我想让她收录/0556 这个页面 但是不收录0556下面的 这个应该咋写??
这样写就OK了
User-agent: *
Allow: /0556
Disallow: /0556/
说实在的你的表达真有点让人晕!
彻彻底底的蒙圈了,我想让她收录/0556 这个页面 但是不收录0556下面的 这个应该咋写??
Allow: /0556/
你这样写的结果还是一样,你加一条allow 在disallow之前,放置你需要让百度抓取的页面,可以达到,Robots是从上而下的,第一条匹配规则为准
###Disallow: /0556/
Disallow: /0915/
Disallow: /0412/
意思是;不允许抓取/0556/、/0915/、/0412/
这三个目录下面的任何文章或产品
我看到大家都给你指导,不过你好像还是很纠结。
他们的意思是说你第一种写法就是对的。
会的,举例:Disallow: /0556/你这个只是禁止0556这个文件夹以及该文件夹下面的url;
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/27579.html