[导读]:RTRTRT看不明白的MMMM 这个要看你怎么屏蔽了,你可以看一下京东,它的是这样的: User-agent: * Disallow: /?* Disallow: /pop/ .html User-agent: EtaoSpider Disallow: / Disallow: / ?* 这个是屏蔽了所有...
RTRTRT看不明白的MMMM
这个要看你怎么屏蔽了,你可以看一下京东,它的是这样的:
User-agent: *
Disallow: /?*
Disallow: /pop/.html
User-agent: EtaoSpider
Disallow: /
Disallow: /?* 这个是屏蔽了所有有?的链接,这个一般可以认为是所有的动态链接。
Disallow: /?* 这个是屏蔽了以?开头的url。
所以,你要看看你的URL特征吧,你想要屏蔽什么要样的,一般有很多人会屏蔽站内搜索形成的动态URL,还有一些不必要页面。
终于打完了~~~
是不是就等于屏蔽了动态链接页面的其他页面 你的意思是不是说等于屏蔽了动态链接页面上链接上的着陆页?例如我有个动态url页面uid? 这个页面有链接到其他页面例如。
如果是的话,那简单的说。是能被收录的,而uid?1这个页面不会被爬去,这样导致的问题是:这个页面如果只有uid?1提供入口,则该页面不能被百度“找到”。
解决方法:在其他页面给与链接。
Nofollow可以阻止传递权重/从本页抓取,但不能阻止收录
Robots.txt可以阻止收录,但不能阻止传递权重
所以如果那个动态页面上有其他页面的链接,那肯定是不被抓取的
但是只是说不能从动态页面上被抓取,如果那些链接再其他地方有展示,还是可能被抓取的
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/18105.html