首页 > 问答 > 网站除了文章目录外其他是不是都可以写robots禁止?

网站除了文章目录外其他是不是都可以写robots禁止?

[导读]:网站除了文章目录外其他是谁不是都可以写 robots 禁止? 比如以下根目录的文件夹: 如果没什么错误抓取的话,建议不要胡乱禁止,以免照成错误。 ### 只要不想让搜索引擎抓取...

网站除了文章目录外其他是谁不是都可以写robots禁止?
比如以下根目录的文件夹:



如果没什么错误抓取的话,建议不要胡乱禁止,以免照成错误。

###

只要不想让搜索引擎抓取的都可以屏蔽蜘蛛,不以文章或者目录区分。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/17899.html