团队日志要存几年，怎么找一个便宜又能查的地方？

[linhrdom]

我们这边每天都会落几十 GB 日志，埋点+调试都有。 想法比较简单：

• 日志最好能留够 1 年。
• 偶尔要查问题，用 SQL 能直接捞出来就行。
• 不想自己搭 ES/数仓，成本太高、维护也麻烦。

之前看过对象存储 + Presto(Trino) 这套，但有点懒得自己搭建和维护，感觉太折腾。 大家平时是怎么搞的？有没有省心点的办法？

[lscho]

便宜
不折腾
能直接用（ SQL 能直接捞出来）

以上不可能三角

[JungleZZ]

@sjbsjb233 笋都让你夺完了...hhh

[wupher]

- 常用查询放 ELK ，一般双周或一月，视各项目重要情况。

- 归档日志存放于 Hadoop ，通过 API 进行检索。

[defunct9]

@ETiV 你这一股子的咖喱味，能行吗

[ITisCool]

@sjbsjb233 #18 你说得这么详细，想必是正在这么干

[zed1018]

@phrack 实际上一点也不，除了 s3 配置一下，剩下就是 replica 的设置搞一搞绝大部分用 helm values 的默认值就完事了

[slowman]

每天上传几十 GB 日志,会不会被认定跑 PCDN 被限速?

[512357301]

用 duckdb 转成 parquet ，然后随便放哪里(本地或者 s3 ，甚至 http 文件服务器也行)，用 duckdb 读取，速度也很快。

[512357301]

每天啊，那这量不算小，一般建议数仓了，可以先用 duckdb 试试，不行就上 ck 数仓

[dji38838c]

如果一年几万块，不值得出
那么大概率这数据也不值得放

[marquina]

@dji38838c #30 +1 ，用价格竞争最充分的对象存储来算，每月几十 g 的数据一年下来也得 5 位数了。如果这钱都不想出那说明这数据没那么值钱。

[billccn]

以前 AWS S3 还支持直接运行 SQL-like 查询呢： https://docs.aws.amazon.com/AmazonS3/latest/userguide/selecting-content-from-objects.html

当然这种好事已经结束了

[guo4224]

找个大善人给你出钱出精力维护

[xuanbg]

日志留够 1 年是你想多了，除非用于数据恢复。查问题的话，7 天足够了。一般也就 24 小时内的问题要查。

[bk201]

自己买 nas 存储设备存储最便宜。

[ExplodingDragon]

一楼的方案算是比较好的了，prometheus 也可以顺便用 grafana ，只不过每天落几十 GB 日志有点难崩，假如 30G/d, 一年就是 10T + 了

[jnliyan1]

啥问题需要一年后查..

[kzfile]

既要低成本又要方便查询，我感觉需要建多层缓存

[opengps]

其实一块大容量的移动硬盘已经足够靠谱了

[spritecn]

年? 没审计需求的话,到月就可以了吧,我只存 10 天,方案是 OpenObserve 走 s3