[导读]：谁能帮忙，帮我做一个网站的robots （文件哪些有用哪些没有我都看不懂）很感谢！！！ 刚开始的时候，你不用刻意去屏蔽什么。 在不知要屏蔽什么之前，你可以先采用这个Ro...
谁能帮忙，帮我做一个网站的robots （文件哪些有用哪些没有我都看不懂）很感谢！！！
刚开始的时候，你不用刻意去屏蔽什么。
在不知要屏蔽什么之前，你可以先采用这个Robots.txt来：http://faq.seowhy.com/robots.txt
等运营过程中，遇到错误链接，重复链接 等再慢慢加进来。
内容如下：
User-agent: *
Disallow: /Disallow: /Sitemap: http://faq.seowhy.com/Sitemap.txt
第一行代表对所有搜索引擎；
第二行代表对网站的搜索页面；
第三行代表对网站的404页面；
第四行代表网站地图的地址。
Robots 一般是用来屏蔽隐私的文件的，比如后台、用户后台等等。一些信息不便被抓取。合理利用有益，如果不大了解可以暂不设置。当网站运作到需要的时候在设置。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/31155.html
