今天用服务器爬百度，只有几分钟，就被百度给屏蔽了...... 求大牛指导
This topic created in 4986 days ago, the information mentioned may be changed or developed.
 |
wtserMar 11, 2013
1
爬虫也有名字的，在useragent中有显示，通过检测UA就可以知道你是爬虫，当然也可以检测你的行为特征
|
 |
scriptkidsMar 11, 2013
2
频率..
|
 |
3
@scriptkids 恩，少量多次^_^
|
|
4
@wtser 恩，useragent好解决，行为得谨慎一些
|
 |
yangruixuanMar 12, 2013
5
频度控制
|
 |
tysxMar 13, 2013
6
同一个IP的并发连接数
|
|
7
@tysx 我用的php，应该是单线程的。不过我发现流量低谷（比如凌晨）的时候比较松，其他时间就得少量多次了
|
Select Language