最近一直在用 http://kaopu.so/ 看样子索引了很大量的内容，话说百度本身不对访问 IP 做频次控制么？
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 4043 days ago, the information mentioned may be changed or developed.
Supplement 1 · Oct 11, 2015
发现百度 site:pan.baidu.com 70 多页以后就没数据了 T_T
 |
lizhemingOct 11, 2015
1
看过之前一个爬虫的帖子，说是 5 分钟一次，做好频率控制多 IP 轮流就好了吧…
|
 |
d7101120120Oct 11, 2015
2
嘘小声点~~~~
|
 |
pathletboyOct 11, 2015
3
频次控制不大好做的，现在网络很多都内网了，出口都是一个 IP 。
|
 |
gzlockOct 11, 2015 via Android
4
也没法证明是用同一 IP 爬的啊
|
 |
kslrOct 11, 2015
7
比如 Coding 支持运行程序的，可以做个 Proxy ，类似的还很多，也很稳定。
|
|
lizhemingOct 11, 2015
8
@easychen https://www.v2ex.com/t/226413 刚才回顾了下这个帖子，他上面说的是 30w/天，如果是有 3 -5 个 IP 的话也就半个月就能爬到千万数量级了吧....
|
 |
wbingeekOct 11, 2015
10
最近用的是这个 http://www.bdybbs.com/
|
 |
cevincheungOct 11, 2015 via Android
11
代理 ip 资源十几块一大把还是高质量高出口带宽的
|
 |
12
@cevincheung 求个链接看看~
|
 |
cdwydOct 11, 2015 via Android
13
@cevincheung
求地址 |
 |
zdyx123Oct 11, 2015
14
@cevincheung 同求一个地址
|
1 |
CoxxsOct 11, 2015
16
曾经抓过一年左右，索引过一亿+文件，每秒都在抓，用 1 、 2 个 IP 没被封。 https://so.cqp.cc/
|
|
21
|
 |
fighter2011Oct 11, 2015
22
这种不会被 ban 吧，有很多都是磁力搜索的啊。
|
|
23
@cevincheung thanks :)
|
 |
24
|
 |
PepsigoldOct 12, 2015 via Android
25
@gamecreating 怎么进去都是代码了？
|
 |
starAshOct 12, 2015
26
直接 google 搜 xxx site:pan.baidu.com 即可,然后对搜索出来的结果处理就行了
|
 |
RoopeOct 12, 2015
27
@gamecreating 这个好啊。
|
 |
3023369823Aug 22, 2016
30
失效链接怎么判断，这才是关键，求解释？@dotmark @Coxxs @Pepsigold @cdwyd @d7101120120 @dotmark @easychen @gamecreating @fighter2011
|
Select Language