[导读]：新站日志中蜘蛛大部分抓取index.html页面，栏目页也是被抓取index.html页面，同时首页带/的蜘蛛也会抓取。这问题如何处理？ 这个有意思 ### 做下网站网址的规范化。 在Robots中屏...
新站日志中蜘蛛大部分抓取index.html页面，栏目页也是被抓取index.html页面，同时首页带/的蜘蛛也会抓取。这问题如何处理？
这个有意思
###做下网站网址的规范化。
在Robots中屏蔽掉页面。
同时给页面做下404页面。
在首页适当加一些引蜘蛛进入内页的入口，如网站地图。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/104954.html
