[导读]：网站 A：www.a.com a：SEO .a.com b：bbs. a.com 其中小a/d在A目录， A目录是 User-agent: * Disallow: /admin.php Disallow: /SEO/ Disallow: /bbs/ 这里为了不让www.a.com/seo——www.a.com/b 重复抓取页面对不对...
网站
A：www.a.com
a：SEO .a.com
b：bbs. a.com
其中小a/d在A目录，
A目录是
User-agent: *
Disallow: /admin.php
Disallow: /SEO/
Disallow: /bbs/ 这里为了不让www.a.com/seo——www.a.com/b 重复抓取页面对不对
还有就是小a和小b目录 下是不是也要写抓取协议啊。
搜索引擎只查看根目录下的Robots.txt，不会去看a或b目录里的，所以，只要在根目录下这么写就可以。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/41482.html
