我vps搞挂掉好几次了。discuz。防采集就把baiduspider也防了。哪儿能弄到所有baiduspider,搜狗蜘蛛,360蜘蛛的ip呢?
要想彻底防止采集
只有
3
个
办
法
1
是
关闭服务器
2
是
取消域名解析
3
是
找出采集你的人 砍死他
采用随机模板
-----来自一个火车头司机的建议
防采集跟蜘蛛有毛关系,采集的人又不会遵守Robots协议!
你禁止蜘蛛不是坑自己吗
想要防采集还得从程序,服务器这些地方入手!!
防采集也不要把蜘蛛禁止了啊。
Discuz也有一定的防采集措施,不过不是很有效的。
现在防采集还是比较难的,可以尝试添加一些带有网站品牌的词或者特殊的代码。
还有一种方法,就是使用不同的模板,这样让被采集的难度加大一些。
最后要不断提升网站的权重,如果网站的权重够高,被采集一些也是不怕的。
额! 可以啊! Robots.txt文件用法举例
禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
允许所有的robot访问
User-agent: *
Disallow:
禁止某个搜索引擎的访问
User-agent: BadBot
Disallow: /
允许某个搜索引擎的访问
User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /
一个简单例子
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。
需要注意的是对每一个目录必须分开声明,而不要写成 “Disallow: /cgi-bin/ /tmp/”。
User-agent:后的* 具有特殊的含义,代表”any robot”,所以在该文件中不能有”Disallow: /tmp/*” or “Disallow: *.gif”这样的记录出现.
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
网站多久了,为何要防采集,网站发来看下
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/33145.html