请教一下大神们，日志是怎么处理的？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 2561 天前的主题，其中的信息可能已经有所发展或是发生改变。

我们之前对日志的处理是，每天会有一个定时任务处理头一天的日志，会选择一个关键的日志入库，然后可以下载，导出成 excel 之类的，但是随着日志数据量的巨增，发现入库不是一个好的选择，大神们是怎么弄的呢？

8 条回复 • 2017-12-09 09:23:28 +08:00

957204459

2017-12-08 12:13:41 +08:00 via iPhone

ELK

cls1991

2017-12-08 12:15:34 +08:00

elk

deweixu

2017-12-08 12:30:46 +08:00

@957204459 Elasticsearch 是不是还要把从 logstash 得到的数据存储起来？

zen9073

2017-12-08 12:34:22 +08:00

@deweixu
logstash 收集 log，发送到 elasticsearch 存储，然后通过 kibana 处理展示，

roricon

2017-12-08 15:21:40 +08:00

在 logstash parse log file 的时候加 filter 可以过滤掉你不关心的 log entries

iugo

2017-12-08 18:17:55 +08:00

之前想过用 Kafka + 自定义处理, 但前一段将日志移入某云. 然后只针对严重的错误进行提醒.

qqmishi

2017-12-09 07:16:08 +08:00

或者试试 loggly 这种日志服务

rooftop64

2017-12-09 09:23:28 +08:00

试试 Graylog