刚才看了一个很有意思的robots.txt文件，你觉得有不对劲的吗？
[导读]：User-agent:* Allow:/upload/*.html Allow:/upload/photo Allow:/upload/file Allow:/upload/image Disallow:/upload/ Disallow:/onlinepay/ Disallow:/admin/ Disallow:/font/ Disallow:/cache/ Disallow:/script/ Disallow:/template/ Disallow:/...
User-agent:*
Allow:/upload/*.html
Allow:/upload/photo
Allow:/upload/file
Allow:/upload/image
Disallow:/upload/
Disallow:/onlinepay/
Disallow:/admin/
Disallow:/font/
Disallow:/cache/
Disallow:/script/
Disallow:/template/
Disallow:/install/
这个是正确的,allow的优先度是大于disallow,
Allow:/upload/*.html
Allow:/upload/photo
Allow:/upload/file
Allow:/upload/image
upload文件里面可能不止以上四个文件,他想屏蔽的是除了这四个文件之外的upload文件.如果upload里面只有这四个文件的话,那网站主这么写就确实是有问题了!
Robots.txt的判断，应该是会有一个优先顺序，不然蜘蛛自己都凌乱了
###先允许了所有.html文件，又允许了3个文件夹，然后又来个禁止！按照从上到下的顺序的话......不知道该咋说了！我瞬间不会Robots了
###呵呵，关键是前五行，
Allow:/upload/*.html
Allow:/upload/photo
Allow:/upload/file
Allow:/upload/image
Disallow:/upload/
有点儿矛盾。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/16726.html
