[导读]:最近发现我的网站后台的登录页面也让蜘蛛抓取了! 一直想屏蔽掉但是没有合适的办法:写进robots.txt吧 ,稍微懂点的同行就能直接看到网站后台! 不写吧,时间长了就...
最近发现我的网站后台的登录页面也让蜘蛛抓取了!
一直想屏蔽掉但是没有合适的办法:写进robots.txt吧 ,稍微懂点的同行就能直接看到网站后台!
不写吧,时间长了就被蜘蛛抓取了,只要一site就出来了!
老铁们,给个建议,你们有什么好招?
干啥要禁止呢
###啥都没禁止,想怎么爬就怎么爬
###写进ROBOT.TXT
怕别人知道后台。可以用简写。。###
啥都没禁止,想怎么爬就怎么爬
###robot文件设置蜘蛛禁止访问的目录就行了
###把后台名字改了 写进ROBOT.TXT 再说了 不改写进去也没事 如果确实有担忧 每周备份一次
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/102298.html