[导读]：robots应该要allow哪些文件比较好，目前我将所有的都disallow了，只开了一个html存放静态页面的文件夹。这样子是可以的么？还有哪些需要注意的地方么？ 一般Robots.txt只写那些不...
robots应该要allow哪些文件比较好，目前我将所有的都disallow了，只开了一个html存放静态页面的文件夹。这样子是可以的么？还有哪些需要注意的地方么？
一般Robots.txt只写那些不想被抓取的东西，如后台目录、图片目录、CSS目录、缓存目录等
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/25998.html
