• 请不要在回答技术问题时复制粘贴 AI 生成的内容
wyan453351466
V2EX  ›  程序员

多台服务器共同处理任务的时候,通过什么方式来交互比较好?

  •  
  •   wyan453351466 · Dec 11, 2019 · 3879 views
    This topic created in 2526 days ago, the information mentioned may be changed or developed.

    需求是,需要在多台服务器上同时执行某种任务。

    一个 master 服务器负责派发任务,多个 worker 服务器来执行。

    那么服务器与服务器之间的数据通过哪种方式交互会比较好呢?

    通过 web-api 定时通信?

    还是直接连接同一个的 Redis 数据库?(楼主觉得前者比较好,毕竟可以减少 http 的请求次数,安全性方面貌似也更好一些)

    还有其他的方法吗?

    13 replies  •  2019-12-11 23:03:44 +08:00
    tms
    tms
    Dec 11, 2019
    1
    mq、rpc
    lihongjie0209
    lihongjie0209
    Dec 11, 2019
    2
    同步 RPC
    异步 MQ
    securityCoding
    securityCoding
    Dec 11, 2019
    3
    本质上是任务分片执行 ,不要考虑其他的了 , 就是 MQ
    wyan453351466
    wyan453351466
    OP
    Dec 11, 2019
    4
    需求补充:

    对实时性的要求不高,任务处理结果的返回可以有一定的延迟,只要最终数据能统一到一起就行。
    chen774553620
    chen774553620
    Dec 11, 2019
    5
    消息队列 mq
    zhiguang
    zhiguang
    Dec 11, 2019
    6
    分布式任务调度?
    BlackBerry999
    BlackBerry999
    Dec 11, 2019
    7
    同 2 楼
    robot1
    robot1
    Dec 11, 2019
    8
    mapreduce
    netnr
    netnr
    Dec 11, 2019
    9
    webhook 钩子,分发后,执行完(包括异常超时等)触发接口调用
    wangyzj
    wangyzj
    Dec 11, 2019
    10
    python 的话 celery
    Vegetable
    Vegetable
    Dec 11, 2019
    11
    太多啦,建议直接使用现成的框架,比如 celery
    https://github.com/search?q=distribute+task&type=Repositories
    araaaa
    araaaa
    Dec 11, 2019 via iPhone
    12
    rsocket 和 reactor
    araaaa
    araaaa
    Dec 11, 2019 via iPhone
    13
    @araaaa reactor 的 mono.zip 可以进行多个并发处理
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2508 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 51ms · UTC 12:00 · PVG 20:00 · LAX 04:00 · JFK 07:00
    ♥ Do have faith in what you're doing.