之前也写过百度云盘爬虫，不过结果是来自 Google 自定义搜索结果，这次自己写了一个百度云盘爬虫程序， 2 天爬取了 60W 数据，其实能够能多，主要是百度有反爬虫机制，爬了几分钟后需要 5 分钟后再次爬取。
网址： http://pan.whatsoo.com
刚刚上线，许多功能还在更新。。。
This topic created in 4043 days ago, the information mentioned may be changed or developed.
Supplement 1 · Sep 29, 2016
已开源 github 地址
讨论交流请在github 中文社区 发帖
 |
abelyaoOct 8, 2015
1
竟然没人回复…
60W 数据太少啦，搜个 “苍井空” 都说没结果，怎么可能呢~ 试了一下深度搜索果然还是有的~ 那你就弄两个 IP 嘛，每个爬 5 分钟轮流~ 爬个 600W / 6000W 数据之后可以直接卖数据咯~ |
 |
2
前两天才开始爬，数据量确实有点少。以后弄个分布式爬虫，应该就开了
|
 |
xiaozOct 9, 2015
4
mark ，已收藏。
|
 |
lycosOct 9, 2015
5
没有公开的 隐私设置的 可以爬到吗？
|
 |
7
弱弱的问一句，从哪儿找百度的网盘的文件索引？直接用 site:pan.baidu.com 搜， 70 多页以后就不显示数据了。
|
1 |
fishleeOct 11, 2015 via Android
8
分布式爬虫不好控制
|
|
9
@easychen 肯定不是用 site:pan.baidu.com 直接分析百度云数据包，爬取好友列表
|
 |
11
  |
|
12
@BuilderQiu 嗯，我昨天在调试，手误，很快就改回来了
|
 |
inmyfreeOct 12, 2015
13
|
 |
cdwydOct 14, 2015
14
你好，怎么过的百度反爬虫机制，测试连续请求 50 次左右 就被屏蔽了
|
|
16
whatsoo#com 已被墙，需要的朋友可以访问新域名 http://pan.ibying.com
|
 |
sadaraFeb 3, 2016
17
开源吗？怎么授权
|
 |
jabinguJan 10, 2020
19
新域名不行，打开是博彩网站
|
Select Language