首页 > 问答 > 网站日志抓取了的asp、php页面返回404需要让蜘蛛禁止抓取么?

网站日志抓取了的asp、php页面返回404需要让蜘蛛禁止抓取么?

[导读]:以上的页面大概有四五百页,需要robots禁止抓取asp、php么? 做好404页面优化,Robots禁止,死链提交 ### 禁止 ### 进来发外链 ### 可以用Robots禁止一下,因为这些页面没什么意义...


以上的页面大概有四五百页,需要robots禁止抓取asp、php么?

做好404页面优化,Robots禁止,死链提交

###

禁止

###

进来发外链

###

可以用Robots禁止一下,因为这些页面没什么意义

###

是的  最好禁止抓取一下

###

最好禁止抓取

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/81978.html