某些复杂的运算,可以切割为数个小的任务,然后并发执行,这样的话,整个程序的并行化程度也就越来越高了。
|
huafangSep 2, 2013
1
不觉则历
|
|
no13busSep 2, 2013
2
rq不是redis队列吗?
|
|
NumbcoderSep 2, 2013
3
对于并发量小的,应该还不如直接写吧
并发量大的话,应该能提高不少 |
|
webflierSep 2, 2013
4
我用rabbitmq干这个事,我有个job,切成32个小任务在n台机器上一起跑,用rabbitmq调度,性能提高了有几十倍。。。。。
|
|
VYSESep 3, 2013
5
但不敢切割成单个JOB来做,怕网络开销更大,分一定数量的批次来做就很好。RMQ+CELERY太需要折腾了。
|
|
ipconfigerSep 3, 2013
6
@VYSE celery 3.0 配置起来已经没有这么纠结了。
|
|
VYSESep 3, 2013
7
@ipconfiger RMQ很纠结,还碰到过这货CRASH的情况
|
|
ipconfigerSep 3, 2013
8
@VYSE 我们用Redis的backend,还好了
|
|
0bitSep 28, 2013
9
在把RQ这个“锤子”用熟练之后,我就满世界在寻找钉子,确实比手动用multiprocessing来写多进程方便多了。
|