有没有分布式爬虫调度的轮子

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 2967 days ago, the information mentioned may be changed or developed.

有没有这样一个服务，可以提交待爬的任务任务包括链接 /优先级 /额外信息例如 cookie 然后服务会自动对提交的任务进行去重，按优先级排序。这样的话爬虫端只需要不断的提交任务，领取任务。除了数据储存以外基本上就是无状态的了。无论跑多少份都可以。

3 replies • 2018-06-27 02:46:52 +08:00

a7a2

Jun 26, 2018

mq 就可以啊

gabon

Jun 27, 2018 via Android

我自己用 netty 写了一个分布式调度器

AX5N

Jun 27, 2018

pyspider?