我都设置了机器人指令，不允许百度抓取，但是一看排名，特么还进入了100命之内！请问这个指令真的有用吗？http://www.yzllo.com/[?]

是关于robots.txt的，感觉好复杂，不会写怎么办。

10多年前淘宝屏蔽百度，一样第一名。。

有些网站设置了也还是收入了，百度是流氓你们知道吗

结论：设置Robots并不有用。

noindex的作用是什么？

页面头信息中放上meta noindex标签是告诉搜索引擎不要索引这个URL，也就是用户搜索时找不到这个URL的信息，这个URL不会返回在搜索结果列表中。

noindex不是告诉搜索引擎不要抓取这个URL，实际上，noindex要起作用，这个URL是必须先被抓取的，不然搜索引擎怎么看到页面HTML代码中有noindex标签呢？

Nofollow的作用是什么？

给链接加上nofollow属性是告诉搜索引擎，不要沿着这个链接爬行，就当这个链接不存在。注意，nofollow只是告诉蜘蛛不要爬这个链接，没有说不要抓取链接指向的URL，也没有说不要索引链接指向的URL，nofollow既没禁止抓取，也没禁止索引。

比如，淘宝整个网站用robots文件禁止百度蜘蛛抓取，但没有用noindex禁止索引（如上面说的，禁止抓取后，就没办法禁止索引了，不抓取，就看不到noindex标签了），所以即使百度没有访问和抓取淘宝页面，但淘宝很多页面是被百度索引的，用户可以搜到的：

百度从网上那么多链接知道淘宝首页的存在，通过链接的锚文字也知道这个页面标题大概是淘宝之类的，当然更知道百度口碑里的评价数。所以即使百度蜘蛛没有抓取淘宝首页，用户还是能搜到，并且显示一些百度知道的信息。

要想百度不能返回淘宝首页该怎么办呢？取消robots文件的禁止抓取，页面上用noindex禁止索引。

被抓取的页面是可以不被索引的

最常见的就是上面说过的，页面头信息使用noindex禁止索引，页面被抓取，读到noindex后，不被索引，不会在搜索结果中返回。

对于一些优质的内容来说，即使你设置了Robots禁止抓取，但还会抓取的，避免不了