谷歌抓取了我的robots文件，是怎么回事？
[导读]：如题： 我的也被google抓取收录了，这个应该是正常现象吧。 ### 谷歌对于txt pdf doc等文件都是会抓取的，这是正常现象，而且Robots文件是任何用户都可以访问的，没有隐私问题。...
如题：
我的也被google抓取收录了，这个应该是正常现象吧。
###谷歌对于txt pdf doc等文件都是会抓取的，这是正常现象，而且Robots文件是任何用户都可以访问的，没有隐私问题。
谷歌搜索“robots filetype:txt”，你会发现有很多robots文件被抓取。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/16978.html
