[导读]：网站整个都换了除了域名是老的6月9日上线的，基本很少抓首页以外的页面，在7月16号时候后台CMS升级所有的内页URL基本都变了，栏目和首页URL没有变换，还是一直只抓首页，网...
网站整个都换了除了域名是老的6月9日上线的，基本很少抓首页以外的页面，在7月16号时候后台CMS升级所有的内页URL基本都变了，栏目和首页URL没有变换，还是一直只抓首页，网站没有用JS等程序加载内容也不存在程序陷阱，主动、自动、SITEMAP提交都做了，网站速度对图片体积、页面体积、CSS和JS体积和HTTP请求数都做了优化，但是依然是不抓首页以外的页面，首页抓的比较多，因为首页之前域名做了外链和换了10几个友情链接，也对首页NOFOLLOW详情页引导爬虫从栏目进入抓更多的详情页，但是依然其他页面不抓，整不知道怎么办了，同样的内容做了一个类似模板的另外一个站，CMS程序使用的不同，但是抓取都很正常基本都会抓
有URL有问题 建议你这个url 最好用小写 然后还有死链太多 记得提交百度 产品详情页的链接可以处理下【规格之类的169#products_draw】 这样的链接可以被抓取到的
###
我的域名1周都没有收录呢
###什么链接啊，发出来看看呢
###建议你把网站甩出来，大家看看，
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/49123.html
