团队日志要存几年，怎么找一个便宜又能查的地方？

[linhrdom]

我们这边每天都会落几十 GB 日志，埋点+调试都有。 想法比较简单：

• 日志最好能留够 1 年。
• 偶尔要查问题，用 SQL 能直接捞出来就行。
• 不想自己搭 ES/数仓，成本太高、维护也麻烦。

之前看过对象存储 + Presto(Trino) 这套，但有点懒得自己搭建和维护，感觉太折腾。 大家平时是怎么搞的？有没有省心点的办法？

[DLOG]

filebeat -> kafka -> (ck -> S3)
才几十个 G ，随便玩

[spritecn]

@DLOG kafka 可以去掉的.. filebeat 走 bluk api 塞 ck

[maximdx]

这得上数仓吧，我们公司用 pinot 或者 clickhouse

[HappyAndSmile]

ClickHouse 按天分区，简单，不用那么折腾

[luciankaltz]

可以考虑 GreptimeDB ，和常见的日志存储在官网都有对比文章。写了一大堆 v2 不让我发，麻了
利益相关

[yingqi1]

我也推荐 duckdb+云存储方案， 文件压缩率也是第一梯队，duckdb 也可以， 然后 duckdb 安装极其简单，使用也简单，查询速度丝毫不弱。

[deplives]

@linhrdom #7 一天几十 G 一年就差不多得 17T 日志，又想冷数据大容量存储存储，又想热数据随时调用，又想不花钱，又想不麻烦。讲真，寿命这个数据不重要，你们干脆自己买个几块企业硬盘吧。够用了。

[qweruiop]

楼上的各位佬，最近有个内部文档，看介绍 duckdb 可以直接挂在 cloudflare r2/s3 来实现全文搜索？不知道，是否有简单的例子，或者 demo 。。。

[tudou1514]

直接物理存，买硬盘，做好报警，满了就换

[pinylin]

vector -> clickhouse -> S3
vector -> quickwit-> S3

我觉得 都行

[Maboroshii]

补充一下我之前说的文件方案：
保存到支持透明压缩的文件系统里，比如 btrfs ，不仅支持快照，也支持方便的备份
然后文件是可以天然支持根据日期分区的
最后，直接用 warp 等 ai 终端帮你查找想要的内容，都不用自己拼 grep 或写脚本分析了

[guyueyiren]

@ETiV #20 感觉是邪修，从未想过如此办法，哈哈

[tianshiyeben]

To https://www.wgstart.com/wglog/docs.html

[lichon]

signoz clickhouse 存储 支持 S3 fallback

[RicardoY]

没有审计需求留一年干嘛，一个月足够了（大多数是 7 天）

[nicoljiang]

@linhrdom #69 兄弟是会做推广的。

[z12cryoto]

可以试试 web3.storage