您当前位置: 首页 » now-way » 思考 » 真想一枪毙了baidu爬虫

真想一枪毙了baidu爬虫

2009-06-22 |

今天又遇到baidu爬虫死劲抓站的情况,比google抓的还厉害,但就是排名不高。我曰!

这样浪费我的流量,有毛病啊?要么你就给我拉高点排名,要么就别抓的这么频繁。

刚才看了一下robots,居然没有办法限制抓取速度。这一点还是google做的比较好,虽然我不能自主抓取速度,但是抓取也很适中。

继续观察一个月,再不行就封baidu半月!