有 7 台服务器在运行,使用了阿里云的日志服务 SLS,但 SLS 用于报警还行,平时查 bug 要前前后后看几十行甚至上百行日志,7 台机器来回看有点麻烦。 有没有什么好的手段把日志按时间戳聚合起来, 比如每分钟上传到一个统一的服务器上,然后写个脚本排一下序。 但一个日志文件有几百 MB,这个方式有点慢。
有 7 台服务器在运行,使用了阿里云的日志服务 SLS,但 SLS 用于报警还行,平时查 bug 要前前后后看几十行甚至上百行日志,7 台机器来回看有点麻烦。 有没有什么好的手段把日志按时间戳聚合起来, 比如每分钟上传到一个统一的服务器上,然后写个脚本排一下序。 但一个日志文件有几百 MB,这个方式有点慢。
|
1
elk
|
|
37Y37Oct 22, 2021
2
我们用的 elk,开发查起来得心应手
|
|
mtzhjsnvOct 22, 2021
3
|
|
yisheyuanzhangOct 22, 2021
4
filbeat > redis/kafka > elk 用起来很顺畅
|
|
5
loki + promtail 轻量的多,更适合日志查询
|
|
6
正好刚从阿里云 sls 切回自建日志平台,sls 不好用费用也高
filebeats->es->kibana 体验比 sls 高两个级别, 文档无比清晰搭起来很快 |
|
kingzeusOct 22, 2021
7
elk
|
|
CainWangOct 22, 2021
8
基础的查询 bug sls 也能满足的 前提是日志规范;比不上 kibana 但是也差不了太多
|
|
zanxjOct 22, 2021
9
无脑 ELK
|
|
killva4624Oct 22, 2021
10
轻度 loki,重度 elk,所以直接 elk 吧。
|
|
bruce0Oct 22, 2021
11
filebeat + Logstash
|
|
yicong135Oct 22, 2021
12
轻量级 Seq
https://datalust.co/seq |
|
jellyspotOct 22, 2021
14
如果是容器环境,efk 吧
|
|
shanghai1943Oct 22, 2021
15
@yicong135 #12 看起来挺不错👍
|
|
basefasOct 22, 2021
16
都打到一个日志库里不就行了?
|
|
HanggiOct 22, 2021
17
elk 一套占多少资源啊,CPU, memory
|
|
BQsummerOct 22, 2021
18
我们是从 graylog 迁到 sls 的,感觉还是 graylog 好用
|
|
hdfg159Oct 22, 2021 via iPhone
19
用 graylog
|
|
kaikai5601Oct 22, 2021 via iPhone
21
你都用 sls 了还有啥不方便的??比 elk 方便,就是对标 elk 的
|
|
huangzxxOct 23, 2021
23
推荐 ELK ,all -> kafka -> logstash -> es -> kibana
|
|
fuckuOct 24, 2021
24
这大于号是什么意思?
比如 -> > |
|
securityCodingOct 24, 2021
25
@Hanggi 主要是 ES 集群吃资源,数据量不大的话 3 台 4u16g 机器足够
|
|
26
@kaikai5601 主要是不太熟悉,比如通过 taskid abcd123efg 查所有相关的日志,不知道在控制台怎么使用,他们好像提供了类似 SQL 的句法,但我更倾向于在终端使用 grep, awk, sed 等命令进行查询。
|