做网站SEO有一段时间了，以前都不懂robots.txt的写法，后来听了老师们的讲课，就把网站robots.txt重新写了一下，增加了Disallow: /category.php？
可以网站的日志看，搜索一直在爬这个动态页面，已经有一段时间了。
2013-07-19 01:03:43 W3SVC86826192 222.191.251.202 GET /category.php id=45&brand=0 80 - 110.75.17.12 Mozilla/5.0+(compatible;+EtaoSpider/1.0;+http: //open.etao.com/dev/EtaoSpider) 200 0 0
2013-07-19 01:04:09 W3SVC86826192 222.191.251.202 GET /category.php id=7&brand=1&price_min=0&price_max=0&filter_attr=17526.0.18433 80 - 66.249.74.224 Mozilla/5.0+(compatible;+Googlebot/2.1;++http: //www.google.com/bot.html) 200 0 0
2013-07-19 01:07:08 W3SVC86826192 222.191.251.202 GET /category.php id=32&brand=0&price_min=0&price_max=0&filter_attr=0.1567.15811 80 - 220.181.108.107 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http: //www.baidu.com/search/spider.html) 200 0 0
www.7ksw.com 网站天天都有更新，网站收录很差，很迷惘，麻烦老师们帮我分析一下。
非常感谢！！
如果你要屏蔽所有类似的，你试试这样屏蔽：
Disallow: /
后面不带问号。
我怀疑你是否后面的问号格式与url的问号不一致。
去除了问号后， 后面的所有的都屏蔽了。
另外，如果你做了静态化，应该日志里有伪静态的URL的抓取，先确认下，有抓取静态的URL，然后去屏蔽动态的。一般1个月左右开始正式不抓取，不是马上。
建议直接把Robots.txt这个文件给删除了，或许会更好。利用百度站长平台工具重新生成一个，再提交。看了一下你的网站收录还算可以呀，建议你选择一个栏目，每天更新原创文章，其他的栏目也要一样也要更新，只不过，你所选的栏目中，更新的原创内容质量要高，并且与网站主题基本相符合，这样很快就能保持一个稳定的收录。
###你确定你针对爬取你网站的引擎写对了写法？
###对360有没有作用我就不知道了，不过对其他搜索引擎还是有做用的，如百度来说在修改Robots文件打开在一个月左右就会发生变化。
###以为我，你现在不要忙着修改，再观察一些时间，因为搜索引擎对Robots协议的执行，要有一个时间过程的，等到你网站静态页面收录差不多了，再修改robots文件比较好！
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/18580.html
