假设内容页文字和图片都有。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3393 days ago, the information mentioned may be changed or developed.
 |
cxbigJul 25, 2017
1
这么开放的问题叫人怎么回答…
哪个网站？什么工具？什么带宽？手上有多少 IP ？制约因素太多了… |
 |
binuxJul 25, 2017
2
就我呆过的公司
10 分钟到 100 毫秒不等 |
 |
4
如果是拨号 VPS 这种，开进程会不会被封
|
 |
ericbizeJul 25, 2017 via iPhone
5
上次 1 核 1g 的阿里云，单线程程序 爬了 10w 张几 k 的图 用了一晚上。 其实不用介意用了多久，只要程序没毛病，晚上一开白天醒来就差不多了。
|
 |
am241Jul 25, 2017 via Android
6
爬福利，不想被封，也不想对目标站造成压力，爬了一晚上
|
 |
estJul 25, 2017
7
写爬虫不加上 sleep(5) 也敢号称分布式爬虫？
|
 |
caijihui11Jul 25, 2017
8
怎么爬福利啊，透露下
|
 |
pcdRobJul 25, 2017
12
几分钟
|
 |
calpamomoJul 25, 2017
13
看网速
|
 |
jugeliziJul 25, 2017
14
10s 抓完
然后发现全是脏数据 |
 |
XiaoFayeJul 25, 2017
15
@faceair 百度的蜘蛛的速度我不怀疑，问题是人家的 Web Server 慢你也没办法是吧？本机 Ping 也要 0.0X 毫秒一次，一个 web 请求怎么也不会比这个快吧？ 100 毫秒 1 万个有点悬呀。
|
 |
ReisenZJul 25, 2017 via Android
17
抓过漫画站…因为是自己看就慢慢抓了…几个小时吧…
|
 |
xiaomacaiJul 25, 2017
18
1s+，是不是可以 DDoS 了
|
|
19
几秒的那是爬取网页吗，跟攻击网站没有区别啊
|
 |
linus3389Jul 25, 2017
20
ssd，或者 redis，下行 10m/s
不要眨眼哦 |
 |
hihihihihiJul 25, 2017
21
看大小吧， 我本机上写的程序， 抓股票数据，3000 多只股票，3 种时间数据， 算下来差不多 1w 个请求， 用 gevent，30 秒左右全部拿下来， 下载的数据打包有 200 多 mb， 我家 100MB 带宽。要是整个分布式的，那就更快了。
|
 |
WoodenRobotJul 25, 2017
23
@jugelizi 一开口就知道老江湖了。
|
Select Language