• 请不要在回答技术问题时复制粘贴 AI 生成的内容
homie2018
V2EX  ›  程序员

有没有比较好的日志聚合工具或者技术

  •  
  •   homie2018 · Oct 22, 2021 · 6536 views
    This topic created in 1840 days ago, the information mentioned may be changed or developed.

    有 7 台服务器在运行,使用了阿里云的日志服务 SLS,但 SLS 用于报警还行,平时查 bug 要前前后后看几十行甚至上百行日志,7 台机器来回看有点麻烦。 有没有什么好的手段把日志按时间戳聚合起来, 比如每分钟上传到一个统一的服务器上,然后写个脚本排一下序。 但一个日志文件有几百 MB,这个方式有点慢。

    26 replies  •  2021-10-25 11:00:22 +08:00
    fengpan567
    fengpan567
    Oct 22, 2021❤️2
    1
    elk
    37Y37
    37Y37
    Oct 22, 2021
    2
    我们用的 elk,开发查起来得心应手
    yisheyuanzhang
    yisheyuanzhang
    Oct 22, 2021
    4
    filbeat > redis/kafka > elk 用起来很顺畅
    aeli
    aeli
    Oct 22, 2021❤️1
    5
    loki + promtail 轻量的多,更适合日志查询
    securityCoding
    securityCoding
    Oct 22, 2021❤️1
    6
    正好刚从阿里云 sls 切回自建日志平台,sls 不好用费用也高
    filebeats->es->kibana 体验比 sls 高两个级别, 文档无比清晰搭起来很快
    kingzeus
    kingzeus
    Oct 22, 2021
    7
    elk
    CainWang
    CainWang
    Oct 22, 2021
    8
    基础的查询 bug sls 也能满足的 前提是日志规范;比不上 kibana 但是也差不了太多
    zanxj
    zanxj
    Oct 22, 2021
    9
    无脑 ELK
    killva4624
    killva4624
    Oct 22, 2021
    10
    轻度 loki,重度 elk,所以直接 elk 吧。
    bruce0
    bruce0
    Oct 22, 2021
    11
    filebeat + Logstash
    yicong135
    yicong135
    Oct 22, 2021
    12
    metrue
    metrue
    Oct 22, 2021
    13
    @yicong135
    Seq 用起来感觉如何?个人小服务想试试。
    jellyspot
    jellyspot
    Oct 22, 2021
    14
    如果是容器环境,efk 吧
    shanghai1943
    shanghai1943
    Oct 22, 2021
    15
    @yicong135 #12 看起来挺不错👍
    basefas
    basefas
    Oct 22, 2021
    16
    都打到一个日志库里不就行了?
    Hanggi
    Hanggi
    Oct 22, 2021
    17
    elk 一套占多少资源啊,CPU, memory
    BQsummer
    BQsummer
    Oct 22, 2021
    18
    我们是从 graylog 迁到 sls 的,感觉还是 graylog 好用
    hdfg159
    hdfg159
    Oct 22, 2021 via iPhone
    19
    用 graylog
    homie2018
    homie2018
    OP
    Oct 22, 2021
    20
    @mtzhjsnv 好的,我研究一下,非常感谢。
    kaikai5601
    kaikai5601
    Oct 22, 2021 via iPhone
    21
    你都用 sls 了还有啥不方便的??比 elk 方便,就是对标 elk 的
    yicong135
    yicong135
    Oct 23, 2021
    22
    @metrue 用了 2 年,感觉还不错,值得试试
    huangzxx
    huangzxx
    Oct 23, 2021
    23
    推荐 ELK ,all -> kafka -> logstash -> es -> kibana
    fucku
    fucku
    Oct 24, 2021
    24
    这大于号是什么意思?

    比如
    ->
    >
    securityCoding
    securityCoding
    Oct 24, 2021
    25
    @Hanggi 主要是 ES 集群吃资源,数据量不大的话 3 台 4u16g 机器足够
    homie2018
    homie2018
    OP
    Oct 25, 2021
    26
    @kaikai5601 主要是不太熟悉,比如通过 taskid abcd123efg 查所有相关的日志,不知道在控制台怎么使用,他们好像提供了类似 SQL 的句法,但我更倾向于在终端使用 grep, awk, sed 等命令进行查询。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1475 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 57ms · UTC 18:08 · PVG 02:08 · LAX 10:08 · JFK 13:08
    ♥ Do have faith in what you're doing.