[导读]：网站蜘蛛总是抓取重复的页面，为了禁止不让蜘蛛抓取重复的页面我增加了nofollow标签，什么样的页面吸引蜘蛛抓取，让蜘蛛抓取需要的页面？可不可以把文章加图片吸引蜘蛛？...
网站蜘蛛总是抓取重复的页面，为了禁止不让蜘蛛抓取重复的页面我增加了nofollow标签，什么样的页面吸引蜘蛛抓取，让蜘蛛抓取需要的页面？可不可以把文章加图片吸引蜘蛛？
网站架构问题
###百度蜘蛛似乎更注重网站页面的层次结构。与Google相比，百度蜘蛛更加重视网站内部页面结构的层次，有点爬虫类的味道，越黑越深，它越是喜欢往里钻，不相信你做100个页面，做得再漂亮，只要链接没有层次，你最多就孤零零的被收录可怜的一点点东西。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/101183.html
