请教一下大神们，日志是怎么处理的？

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 3256 days ago, the information mentioned may be changed or developed.

我们之前对日志的处理是，每天会有一个定时任务处理头一天的日志，会选择一个关键的日志入库，然后可以下载，导出成 excel 之类的，但是随着日志数据量的巨增，发现入库不是一个好的选择，大神们是怎么弄的呢？

8 replies • 2017-12-09 09:23:28 +08:00

duskx

Dec 8, 2017 via iPhone

ELK

cls1991

Dec 8, 2017

elk

deweixu

Dec 8, 2017

@957204459 Elasticsearch 是不是还要把从 logstash 得到的数据存储起来？

zzen

Dec 8, 2017

@deweixu
logstash 收集 log，发送到 elasticsearch 存储，然后通过 kibana 处理展示，

roricon

Dec 8, 2017

在 logstash parse log file 的时候加 filter 可以过滤掉你不关心的 log entries

iugo

Dec 8, 2017

之前想过用 Kafka + 自定义处理, 但前一段将日志移入某云. 然后只针对严重的错误进行提醒.

qqmishi

Dec 9, 2017

或者试试 loggly 这种日志服务

MoliOOO

Dec 9, 2017

试试 Graylog