[导读]：网站为了考虑访客访问速度问题，分别在不同城市布局不同服务器，通过二级域名dns自动判断地域分配访问服务器，每个城市一个二级域名对应一台服务器，这些服务器的二级域...
网站为了考虑访客访问速度问题，分别在不同城市布局不同服务器，通过二级域名dns自动判断地域分配访问服务器，每个城市一个二级域名对应一台服务器，这些服务器的二级域名下的页面是相同的，但是www下的服务器是dns服务器，主要用来分配访客，也就是说所有二级域名下的服务器都有一个相同的网站，唯独www下的服务器里没有建设网站，这种情况如何写robots来禁止蜘蛛抓取所有二级域名内容，而只抓取www的的域名。
例如：
www.域名.com/123.html
bj.域名.com/123.html
nc.域名.com/123.html
sh.域名.com/123.html
......
以上二级域名都和www.域名.com/123.html是同一个页面，如何屏蔽所有二级域名下的内容呢？
虽然我不是个技术控
不过感谢你的邀请。
不同的服务器那么，可以给每个分站都建立一个Robots文件。屏蔽抓取。
其实有点不明所以，你既然建设2级域名，为什么要屏蔽他们。
如果你一个大站点的服务器如果承载不了害怕荡机的话，你升级服务器呀，或者在接一台服务器呀。设定在第5000个IP的时候，第5001个IP的时候就会跳到第2台服务器进行服务。
可能不清楚你的意思，但是，建设了2级域名又屏蔽掉的做法，有点多余了！！
个人建议，提供参考！
用程序很容易的。用程序根据域名，浏览器进行判断。把所有的浏览器都先登记下来，百度蜘蛛本身也是浏览器，只要不是登记的浏览器，就跳转到指定页面。
###建议找找类似的网站参考一下，搜索引擎没那么聪明，太复杂的东西终究不是怎么好。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/21460.html
