首页 > 问答 > 屏蔽蜘蛛抓取特定文件的原因有哪些?

屏蔽蜘蛛抓取特定文件的原因有哪些?

[导读]:新手,弄了个博客,看到别人的tags标签是禁止百度抓取的,思考了片刻后,我便进入了牛角尖里,求大神救我! 禁止站内serch页面的原因是什么?如果说是为了防止重复抓取,...

新手,弄了个博客,看到别人的tags标签是禁止百度抓取的,思考了片刻后,我便进入了牛角尖里,求大神救我!
禁止站内serch页面的原因是什么?如果说是为了防止重复抓取,那我们站内的锚文本不也会造成搜索的重复爬行吗?
那tags应该看做是重复页面还是锚文本?该不该禁止呢?
还有织梦系统哪些文件需要禁止蜘蛛?求教!

禁止TAG应该是为了重复页面。
我自己也有站禁止百度收录TAG的。
因为TAG相关性不怎么样?还有面包屑导航在TAG很难完美的实现。
主要禁止是从防止重复,不相关,面包屑导航。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/25896.html