首页 > 问答 > 到底咋防采集啊。。

到底咋防采集啊。。

[导读]:我vps搞挂掉好几次了。discuz。防采集就把baiduspider也防了。哪儿能弄到所有baiduspider,搜狗蜘蛛,360蜘蛛的ip呢? 要想彻底防止采集 只有 3 个 办 法 1 是 关闭服务器 2 是 取消域名...

我vps搞挂掉好几次了。discuz。防采集就把baiduspider也防了。哪儿能弄到所有baiduspider,搜狗蜘蛛,360蜘蛛的ip呢?

要想彻底防止采集
只有
3



1

关闭服务器
2

取消域名解析
3

找出采集你的人 砍死他

###

采用随机模板

-----来自一个火车头司机的建议

###

防采集跟蜘蛛有毛关系,采集的人又不会遵守Robots协议!
你禁止蜘蛛不是坑自己吗
想要防采集还得从程序,服务器这些地方入手!!

###

防采集也不要把蜘蛛禁止了啊。
Discuz也有一定的防采集措施,不过不是很有效的。
现在防采集还是比较难的,可以尝试添加一些带有网站品牌的词或者特殊的代码。
还有一种方法,就是使用不同的模板,这样让被采集的难度加大一些。
最后要不断提升网站的权重,如果网站的权重够高,被采集一些也是不怕的。

###

额! 可以啊! Robots.txt文件用法举例
禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /

允许所有的robot访问
User-agent: *
Disallow:

禁止某个搜索引擎的访问
User-agent: BadBot
Disallow: /

允许某个搜索引擎的访问
User-agent: baiduspider
Disallow:

User-agent: *
Disallow: /
一个简单例子
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。
需要注意的是对每一个目录必须分开声明,而不要写成 “Disallow: /cgi-bin/ /tmp/”。
User-agent:后的* 具有特殊的含义,代表”any robot”,所以在该文件中不能有”Disallow: /tmp/*” or “Disallow: *.gif”这样的记录出现.

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

###

网站多久了,为何要防采集,网站发来看下

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/33145.html