看到某个网站实行robots全站封禁，一般都是基于什么样的考虑？对这些网站有什么好处？

利用Robots对全站进行封禁是基于什么样的考虑？
其实就是流量入口的问题，针对淘宝来说，它已自成一个系统，它的赢利点在于淘宝上的广告，所以它要封禁百度、封禁微信、封禁蘑菇街、美丽说，封禁一切外来的流量入口，这样它才能用它本身的流量来实现收益！

但如果说它不稀罕搜索引擎流量也是不准确的，流量就是钱，只不过，淘宝有其自己的生存法则，自己的算法排名，一旦有了外界的流量入口，那么相信很多人都不大愿意选择烧钱的直通车流量而更愿意选择廉价的搜索流量，这也是为什么淘宝客兴起的原因！
扯远了~~

不过就扇贝网这个站点来说，之前它并不是全站屏蔽百度的，现在屏蔽要么是设置错误，要么就是站点改版之类的！

淘宝并没有采用全站封禁,只是针对百度spider,对其他搜索引擎开放，淘宝封禁百度蜘蛛原因是基于淘宝站点策略上出发的。我想了下，可能有以下几点。

1.淘宝主打品牌推广，也需要搜索引擎流量（这也是为什么开放除百度spider以外搜索引擎蜘蛛的原因）
2.百度搜索引擎份额国内老大，如果开放百度spider，流量必定会分成给百度，长期将无法培养用户搜索消费习惯。简单来说，留住一小部分长尾搜索习惯，将大部分长尾搜索习惯转化到品牌搜索上。（养过羊吗？你可以想象淘宝是圈养容积式，搜索引擎是将羊放出圈子，去大草原吃草，圈养的更容易培养忠诚度）
3.淘宝下属产品有阿里妈妈和淘宝客这块在做，因此在做淘宝站外搜索引擎流量不是很有必要。
4.淘宝站内在做搜索引擎，可以遏制一部分虚假产品的释放效应，要是哪天每个人在百度都可以搜到淘宝的假产品，淘宝估计会被网友吊起来挨批。
5.其他原因等。。。说不定淘宝初期的产品经理这样做，后期产品经理需求提上去开放还没审批也说不定，哪天360份额大了，被屏蔽也可能。

如果是知名站点的话，完全不需要借助搜索引擎获取流量，就像淘宝一样，不需要依赖百度

第一，他可能设置错误，或者不懂设置这块。第二，他不想让搜索引擎抓取全站内容。对网站没好处，如果内容得不到大量的抓取，会损失很多有效流量。等等，我只是简单的说了下，具体还要靠你自己去研究。