1,爬虫能不能抓取div层?
2,js代码调用一个div层,爬虫能不能抓取JS代码,然后爬取到这个div层?
3,加密的js代码调用一个div层,爬虫能不能爬取到这个div层?
4,如果我用第二个div层覆盖第一个div层,那么有什么法子可以让第二个div层不被爬虫发现,如果加密第二个div层行不行?
5,如果一个div层1嵌套在另一个div层2外面,爬虫没有抓取到div层1,是不是爬虫就认为div2层没有div层1在外面?
6,a页面用js代码调用另一个页面b,爬虫能不能抓取a页面的js代码,然后抓取另一个页面b?
7,a页面用加密后的js代码调用另一个页面b,爬虫能不能抓取a页面的加密js代码,然后抓取另一个页面b?
谢谢
第一个:可以的
第二个:可以抓去 百度自己说可以抓去JS了 但是现在谁也没有证实
第三个:这个可以看看百度快照里面 按理说抓去不到
第四个:一般不被抓去 就是应用js或框架
第五点:是的
第六点:这个一般不会,以锚文本的形式可以
第七点:不能
想不想让百度抓去可以用Robots屏蔽 但是你屏蔽掉也会抓去 这就是百度
###网站JS用多了,对优化不好,最好不要使用js,能不使用就不使用
###正常来说你没有Robots了的蜘蛛都能爬你服务器所有目录,而你说的同一个JS文件中对div的调用这个问题,蜘蛛是不会知道你调用不调用的,不过如果你想特别让蜘蛛爬哪个文件的哪个段落的js代码,你可以特别设置一个Js让蜘蛛去爬,不想让蜘蛛爬的就robots掉
###学到了
可以的,这个当然没问题
###你可以用静态页面啊,那样多好。你可以参考一下汶上锈石网站
###这个不知道 自己测试一下撒
步进电机
###蜘蛛是看不懂代码的,只要你写他就会爬,不加限制的情况先,根目录下面及子目录都会抓爬,如有想限制的直接Robots掉,代码结构上多注重tdk、H标签、p、b标签等的使用。
###我的想法和他一样,娃哈哈
第一个:可以的
第二个:可以抓去 百度自己说可以抓去JS了 但是现在谁也没有证实
第三个:这个可以看看百度快照里面 按理说抓去不到
第四个:一般不被抓去 就是应用js或框架
第五点:是的
第六点:这个一般不会,以锚文本的形式可以
第七点:不能
###JS页面是能被抓取的,但是对百度蜘蛛不太友好,基本很难抓取到,最好不要使用
###坐等专业大神回答!
学一波
###学习了。
###学习了
###学习
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/78808.html