首页 > 问答 > 关于一个网站robots的问题。

关于一个网站robots的问题。

[导读]:我们网站@@sh.01gydc.com@@自带静态化功能,基本上所以资讯内容页都可以生成静态文件,但是这个动态的链接还是存在的,是可以打开的,但是网站唯一的一个问答频道:http://sh...

我们网站@@sh.01gydc.com@@自带静态化功能,基本上所以资讯内容页都可以生成静态文件,但是这个动态的链接还是存在的,是可以打开的,但是网站唯一的一个问答频道:http://sh.01gydc.com/wenda里的所有问答页面都无法生存静态,这是开源系统的内部问题,我们无法解决。现在我想要的是屏蔽全站的所有动态页面 Disallow: /?*,但是网站的问答频道的内容页又不能屏蔽,毕竟这些内容还是有用的,请问如何书写这个robots文件才是科学合理的?

再添加一个 Allow: / 放置在最后面。

###

Disallow: /?*这个不能阻止百度爬行这个 / ,所以没有影响。

为了安全起见,您也可以这样写:
Disallow:/?*
Allow:/*

###

搜索引擎现在对静动态没有差别。为什么要屏蔽动态页面呢?

###

现在搜索引擎动态页面也是可以收录的,质量高的页面也会有排名的。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/31745.html