发现一个困惑的问题，关于百度抓取js和css
[导读]：昨天分析了一下爬虫日志，发现百度抓取css和js的次数达到30% 我在robots.txt里，对相关目录是有禁止爬取的，怎么回事？如何引导爬虫去抓内容？ 我现在的想法是在nginx里，判断...
昨天分析了一下爬虫日志，发现百度抓取css和js的次数达到30%
我在robots.txt里，对相关目录是有禁止爬取的，怎么回事？如何引导爬虫去抓内容？
我现在的想法是在nginx里，判断user_agent,如果是爬虫的，直接404，不知道是否妥当？
这东西我也发现了，不知道seowhy以前有没有问过，是Robots屏蔽了相关目录，但是蜘蛛抓取css和JS频繁。
###如果Robots设置没问题的话，只有通过外链和内链去间接性的引导爬虫抓取内容，比如你做内页的外链或栏目页的外链。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/33106.html
