最近网站蜘蛛总是抓取重复的页面，有时候蜘蛛抓取不存在的连接内容，怎样让蜘蛛停止抓取已不存在的链接，抓取没有用的也没有效果，我如何让蜘蛛抓取指定的页面？感谢解答问题。

设置死链规则删除死链，你可以把不让抓取的文件夹写进Robots

存在的就是死链，死链提交啊

直接去搜索引擎提交链接呀~

来帝佑科技，教你网站优化

写Robots文件提交给百度

主动提交最直接

不存在的页面做跳转咯，站内301之类的，有蜘蛛来，总比没有好吧

百度站长平台提交页面连接就可以

主动提交给百度

主动提交

在百度站长提交不必要的页面，让百度把没用的删除

提交搜索引擎，或者在经常爬的页面加锚文本

图文素材排版 微信公众平台图文排版工具

平台提交    描文本多做这个链接

主动提交链接

直接百度提交你的链接