团队日志要存几年，怎么找一个便宜又能查的地方？

[linhrdom]

我们这边每天都会落几十 GB 日志，埋点+调试都有。 想法比较简单：

• 日志最好能留够 1 年。
• 偶尔要查问题，用 SQL 能直接捞出来就行。
• 不想自己搭 ES/数仓，成本太高、维护也麻烦。

之前看过对象存储 + Presto(Trino) 这套，但有点懒得自己搭建和维护，感觉太折腾。 大家平时是怎么搞的？有没有省心点的办法？

[la2la]

假设 1 天 100 GB 数据，1 年 大概 36.6 TB 左右的数据
这点数据可以考虑一下云厂商的 OSS 服务，在加上冷热模式，用不了几个钱。
不过你要支持可查，那么用数据湖格式，存储落到 OSS 上，使用 Doris 或者 Spark 挂个外表就能查了。

[spritecn]

@joyoyao #53 clickhouse 需要机器好,机器不好可能会一条 sql 拉挂掉,太吃 cpu 了

[JoeDH]

一年有没有必要？如果接受不了云服务的价钱，那还是自己买存储搭一套吧

[Moatkon]

找一个压缩算法，规划好分片维度。后面业务如果需要找到指定分片解压

[zhangxiangperson]

如果不想自己拼组件，可以考虑全托管的湖仓，（对象存储 + 表格式 + SQL 引擎一体化）。例如把日志直接落到云器 Lakehouse ，一年存储免费的 “资源包”，1TB 存储免费，存储+SQL 即席查询的诉求能一次到位：
https://www.yunqi.tech/product/one-year-package

[linhrdom]

@vincentWdp AWS Athena 我简单算了一下，可能要 4000 多美金，更恐怖了。

[linhrdom]

@DefoliationM 可以，但不是 SQL

[linhrdom]

@fengfisher3 感谢分析

[linhrdom]

@zhangxiangperson 这个好，试试

[wineejam]

直接上 SLS

[tooroot]

Doris 存算分离模式 + OSS 冷备

[gzldc]

公司出钱 让公司买现成的 没钱就不留呗

[yidinghe]

几十 TB 一年的存储费用可不少，任何云服务都不便宜。一个方案是用 btrfs 文件系统存储原始日志文件，挂载时加上压缩参数，能压缩 80%左右，35TB 原始文本可压缩成 7TB ，一个硬盘就能装下，查询日志用 grep 即可。

[vopsoft]

"我们这边每天都会落几十 GB 日志，埋点+调试都有。 想法比较简单" 最后这个句改成 "想法太天真"吧
需求能实现 也是野路子或者薅羊毛 感觉就是给 2 毛钱预算 让你做核弹 ...唉

[js2854]

腾讯云 CLS 低频版，关闭全文索引，添加需要的键值索引，成本还比较低

[Gilfoyle26]

百度云盘

[howencilx]

重要就会花钱，舍不得花钱那还是不太重要

[wangtian2020]

自己买一台 NAS

renting-is-for-suckers
https://andrewkelley.me/post/renting-is-for-suckers.html

[quicksandznzn]

我们是 es 保留近几天 其它的云服务深度归档（便宜） 需要的时候在恢复

[BlueSkyXN]

网盘+压缩