首页 > 问答 > 老铁们 ,你们的网站后台是如何禁止蜘蛛抓取的?

老铁们 ,你们的网站后台是如何禁止蜘蛛抓取的?

[导读]:最近发现我的网站后台的登录页面也让蜘蛛抓取了! 一直想屏蔽掉但是没有合适的办法:写进robots.txt吧 ,稍微懂点的同行就能直接看到网站后台!       不写吧,时间长了就...

最近发现我的网站后台的登录页面也让蜘蛛抓取了!

一直想屏蔽掉但是没有合适的办法:写进robots.txt吧 ,稍微懂点的同行就能直接看到网站后台!

      不写吧,时间长了就被蜘蛛抓取了,只要一site就出来了!

老铁们,给个建议,你们有什么好招?

干啥要禁止呢

###

啥都没禁止,想怎么爬就怎么爬

###

写进ROBOT.TXT

怕别人知道后台。可以用简写。。
###

啥都没禁止,想怎么爬就怎么爬

###

robot文件设置蜘蛛禁止访问的目录就行了

###

把后台名字改了  写进ROBOT.TXT  再说了  不改写进去也没事    如果确实有担忧  每周备份一次

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/102298.html