团队日志要存几年，怎么找一个便宜又能查的地方？

[linhrdom]

我们这边每天都会落几十 GB 日志，埋点+调试都有。 想法比较简单：

• 日志最好能留够 1 年。
• 偶尔要查问题，用 SQL 能直接捞出来就行。
• 不想自己搭 ES/数仓，成本太高、维护也麻烦。

之前看过对象存储 + Presto(Trino) 这套，但有点懒得自己搭建和维护，感觉太折腾。 大家平时是怎么搞的？有没有省心点的办法？

[spritecn]

OpenObserve 存储也是 parquet

[yudoo]

ilogtail+clickhouse 最简单的 单节点就行 压缩比 es 高 7 倍，硬盘 1T 差不多了

[guanyujia5444]

对象存储+分层存储，要不就降低保留时间，再便宜的方案可能可用性就受影响了

[i8086]

频繁查询都是 15 天内的，我这里 3 个月前的日志很少要查，平均下来 1 年查不到 2 次，那时候把日志导出为文本，直接用 winrar + 大字典压缩归档了，超级省空间，10G 日志压缩完不到 1G 。

完善后续恢复导入流程就可以了。

[i8086]

按月归档。

[TaiShang]

victorialog

[tomatocici2333]

百度云自动备份就行了 就一个会员钱

[Goooooos]

日志我们最多只存 30 天

[RedisMasterNode]

一年 2700 的成本都不愿意..吗 这不对吧

[dode]

试试 clickhouse ，带压缩功能

[evan1]

@RedisMasterNode #49 这是 1t 的价格。op 一天就产生几十 g 的日志。一年下来也要几万块钱了。

[RedisMasterNode]

@evan1 按 30G 一年只有 10T 左右，现在日志存储压缩率极高，轻松可以有 10x 以上的压缩率把存储开销保持在 2T 内。

See: https://victoriametrics.com/products/victorialogs/

[joyoyao]

clickhouse 上手简单。支持到期日志自动删除，压缩算法也给力。也支持 sql 。搞个大一点的机械硬盘就行了。

[guxingke]

doris ，MySQL 协议兼容，支持分层存储(冷数据丢到 OSS)

[duanxianze]

买两块硬盘不就好了，互为备份就行了，五年内还是稳的

[fengfisher3]

日志最好能留够 1 年。
偶尔要查问题，用 SQL 能直接捞出来就行。
不想自己搭 ES/数仓，成本太高、维护也麻烦
-------------------------------------------------------
大量长时间存储，还要方便能直接使用，又不想麻烦的，真的如 @lscho 所说，不可能三角。
每天 几十 GB 日志，这个量，光存储的钱都不少，还不想麻烦，真的不可能，换方案吧。

[luzihang]

年初遇到个需求，金融机构上面来检查，按照订单号，要查 5 年内的日志：请求和响应 2 条。后面写个脚本，读按照日期归类的日志压缩文件。

[salmon5]

@duanxianze #53 的方案可以了，买 2 块大硬盘足够了

[laminux29]

你既要方便地能直接 SQL 查询，又懒得搭建和维护。

这边建议您花钱找人帮您搭建。

[spritecn]

@w568w influxDB 新版本也是走 parquet 存储的,但现在开源版本还没有 s3 可以用