首页 > 问答 > 网站改版,千万级页面被删,日志分析爬虫每天有40%死链的抓取

网站改版,千万级页面被删,日志分析爬虫每天有40%死链的抓取

[导读]:网站进行改版,内容需要审核重新上线,量级达到千万级别,目前前端已无死链,日志分析,百度爬虫抓取死链占爬虫每天抓取的40%,如果考虑每天分析日志,提交死链,效率太...

网站进行改版,内容需要审核重新上线,量级达到千万级别,目前前端已无死链,日志分析,百度爬虫抓取死链占爬虫每天抓取的40%,如果考虑每天分析日志,提交死链,效率太低,规则提交不能实现(同一目录下:有死链+正常页面),长时间周期的死链抓取,降低了网站的综合评分,降低了爬虫的友好度,大家有什么建议呢?

是考虑继续每天整理提交死链呢?还是考虑做302临时跳转呢?临时跳转也是搜索引擎很不喜欢的,会被搜索引擎继续索引。

千万级页面,会在一定周期内进行恢复上线,但会删除一部分。

整理死链,提交

###

用死链工具检测,批量添加,提交等待删除即可

###

302不靠谱

###

不建议提交死链,因为会影响网站其他内容的收录,但是千万级别的内容又没办法手动改死链,说实话我没有好的办法

###

做301定向,404页面提交

###

闭站保护后再改版吧。。。

###

做301跳转 404页面 然后给百度提交一下死链文件

###

302没意义  分多次批量提交吧  一定要做好404   为什么不申请闭站保护呢

###

不要做302,真的,做了你就会后悔,做404就可以了,千万级也是一样

###

做301定向,404页面提交。

###

存在的页面做301重定向,不存在的页面整理链接提交给百度,这是最好的解决办法~

###

提交死链吧

###

把死链填充满,我一般遇到404都会填充内容

###

提交死链吧。不要弄302,弄这个还不如去做内容填充。

###

做301定向,404页面提交。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/94161.html