• 请不要在回答技术问题时复制粘贴 AI 生成的内容
a7217107
V2EX  ›  程序员

elasticsearch 单机高并发写入出现丢失数据的情况

  •  
  •   a7217107 · Sep 14, 2020 · 4061 views
    This topic created in 2241 days ago, the information mentioned may be changed or developed.

    es 在并发写入的情况下,为啥会出现部分数据丢失的情况?

    10 replies  •  2020-09-14 18:01:08 +08:00
    90928yao
    90928yao
    Sep 14, 2020
    1
    压测的时候?
    des
    des
    Sep 14, 2020
    2
    看看有没有报错什么的,es 的内部队列满了会暂时拒绝请求
    a7217107
    a7217107
    OP
    Sep 14, 2020
    3
    @90928yao 是的,并发量高一点就会丢
    a7217107
    a7217107
    OP
    Sep 14, 2020
    4
    用的 x-pack
    Macuilxochitl
    Macuilxochitl
    Sep 14, 2020
    5
    关注一下错误率
    wakzz
    wakzz
    Sep 14, 2020
    6
    贴一下返回的报错报文以及 es 的报错日志
    yoqu
    yoqu
    Sep 14, 2020
    7
    建议通过消息队列异步入 es
    syncnano
    syncnano
    Sep 14, 2020
    8
    只要涉及到写入 es 的,就一定要关注写入失败的情况,参考:
    `_cat/thread_pool?v`
    kefirzhang
    kefirzhang
    Sep 14, 2020
    9
    再没有写入 ack 确认,失败重试的情况下,如果高并发写入达到 es 瓶颈肯定会拒绝后续请求造成数据丢失。
    可以采用写到 redis 的队列里面用 logstash 读取。或者写到 kafak 里面 ,
    其实原理一样 写到一个缓存队列,削峰填谷!
    manaBurn
    manaBurn
    Sep 14, 2020
    10
    如果是同一个文档,是因为 es 的乐观锁机制造成的版本冲突吧?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1315 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 107ms · UTC 21:06 · PVG 05:06 · LAX 13:06 · JFK 16:06
    ♥ Do have faith in what you're doing.