Disallow: /base/
Disallow: /openapi/
Disallow: /business/
Disallow: /user/
Disallow: /newHouse/
Disallow: /syzl-business-api/
屏蔽完之后依然会抓取这些页面，请问是屏蔽的方法不对吗？要怎样Disallow才能避免内容再次被抓取呢？
requestUrl:"/syzl-business-api/news/queryNewsType/"
requestUrl:"/syzl-business-api/newHouse/config"
requestUrl:"/syzl-business-api/news/newsDetail"
requestUrl:"/openapi/combo/area/queryCities"
requestUrl:"/base/getCurrentCityInfo"
requestUrl:"/base/getHotBusinessArea"
requestUrl:"/business/public/phone"
requestUrl:"/business/public/queryCityConfModel
requestUrl:"/openapi/combo/area/queryCities"
requestUrl:"/office/list/area_all/page2"
Robots屏蔽并不代表搜索引擎不会爬抓。只要有链接指向相关文件，搜索引擎还是会爬抓的，然后根据robots文件考虑是否收录。
另外，建议合理查询爬抓的IP是否为搜索引擎蜘蛛爬抓的，还是用户访问的。
有时候很多链接并不是搜索引擎爬抓的，而是用户访问的或者模拟蜘蛛爬抓的。
###1、抓取是否有收录
2、你这个屏蔽是啥时候做的，如果是近期刚做，需要有响应期
3、你使用百度站长后台，抓取诊断检测下，看看是抓取还是无法抓取
用命令nslookup +ip查询一下蜘蛛的真假，这一句 User-agent: * 有没有加上？
屏蔽没有用，百度该抓取还是抓取，淘宝屏蔽了百度，百度不还是照样抓取
###不懂 进来学习一下
###假蜘蛛抓取的 不用管 你用金花站长工具可以剔除假蜘蛛的
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/93226.html
