首页 > 问答 > 可以把网站日志中蜘蛛反馈过来的404错误页面写入robots.txt文件吗

可以把网站日志中蜘蛛反馈过来的404错误页面写入robots.txt文件吗

[导读]:可以把网站日志中蜘蛛反馈过来的404错误页面写入robots.txt文件吗?Disallow:掉吗? 可以的。 日志发现404错误,然后对这些错误进行相应的核实和处理。 实际查看一下这写404错误...

可以把网站日志中蜘蛛反馈过来的404错误页面写入robots.txt文件吗?Disallow:掉吗?

可以的。

日志发现404错误,然后对这些错误进行相应的核实和处理。

实际查看一下这写404错误内容,是什么原因导致的?是需要恢复还是没法恢复的死链接?
需要恢复的恢复,恢复正常访问就不需做其他操作。
由于某些错误,导致的无法恢复的死链接,建议可以采取以下三个操作:
1、做好404页面
2、Robots屏蔽之(以后观察日志,不再继续抓取后可以删除)
3、百度站长工具提交

###

对。要大量做好。

###

数量多的话 不太好屏蔽 作用也不是很大
如果数量不是很多的话 可以手工屏蔽
做好错误页面跳转就可以

###

最好别这样做。是因为一个页面没有了,才会出现404页面,所以,所有不存在的URL都会跳转到404页面,你把这个页面屏蔽了,这让搜索引擎很难理解网站。不存在的URL,最好还是让搜索引擎能够识别出来,然后慢慢删除这种页面的快照。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/20466.html