celery+rabbitmq ，为什么不是在 celery 队列里面存

This topic created in 3635 days ago, the information mentioned may be changed or developed.

用 celery+rabbitmq 写爬虫。

用的默认的队列设置，也就是没有配置队列，按照文档的说法，应该是存在 celery 的队列里面。但是实际的结果并不是这样。

好像每个任务存在一个队列里面，队列数量在不停地增加。这里是队列的信息。

所以，这样的问题是，随着队列的变大，程序变得越来越慢， celery 在心跳检测连接队列的时间越来越长。 segmentfault 地址，这里不知道怎么贴图片 https://segmentfault.com/q/1010000007606923

3 replies • 2016-11-28 13:27:11 +08:00

julyclyde

Nov 26, 2016

按什么软件的默认？按什么文档的说法？

celery 本来就不是队列，就没有保存任何内容的功能

20150517

Nov 26, 2016

我用过 celery+redis,队列当然是存在 redis 之类的,celery 只是代码,又不能存储,你是这意思吗

ssllff123

Nov 28, 2016

我已经解决了，如果用 celery ， backend 不要用 rabbitmq ，因为， celery 会自动给每个任务的结果建立一个队列，所以队列越来越多，越来越多。

celery 确实不是队列，可能我的问题没有描述清楚。