首页 > 问答 > robots中sitemap.xml 这个需要禁止吗?

robots中sitemap.xml 这个需要禁止吗?

[导读]:就是在robots中文件中需要加上Sitemap: https://www.awind.com.cn/sitemap.xml吗? 这个不是禁止的意思,Robots中 Disallow: ——表示禁止抓取 Allow: ——表示允许抓取 Allow: /$ ——表示只允许抓...

就是在robots中文件中需要加上Sitemap: https://www.awind.com.cn/sitemap.xml吗?

这个不是禁止的意思,Robots中

Disallow: ——表示禁止抓取

Allow: ——表示允许抓取

Allow: /$ ——表示只允许抓取主页

Disallow: / ——表示禁止抓取网站所有文件

Sitemap: ——表示站点地图的意思(是用来告诉蜘蛛,这是该站的网站地图,可以从这个地址开始爬)

###

不需要禁止,添加这个就是为了让蜘蛛能够更好的抓取网站内容的

###

不需要禁止,这个利于蜘蛛爬取的

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/71770.html