团队日志要存几年，怎么找一个便宜又能查的地方？

[linhrdom]

我们这边每天都会落几十 GB 日志，埋点+调试都有。 想法比较简单：

• 日志最好能留够 1 年。
• 偶尔要查问题，用 SQL 能直接捞出来就行。
• 不想自己搭 ES/数仓，成本太高、维护也麻烦。

之前看过对象存储 + Presto(Trino) 这套，但有点懒得自己搭建和维护，感觉太折腾。 大家平时是怎么搞的？有没有省心点的办法？

[FlashEcho]

grafana 可视化+promtail 收集+loki 日志聚合+任意对象存储，k8s helm chart 一个 loki-stack 全搞定了，只要调调 yaml 配置，相当不折腾

[c00WKmdje2wZLrSI]

阿里云或者腾讯云的日志服务?

[phrack]

@chesha1 你这相当复杂了

[Nitroethane]

试试阿里云 maxcompute ？内部叫 odps ，挺好用

[nm1st]

duckdb+s3

[Smileh]

买个 10T 硬盘

[linhrdom]

@c00WKmdje2wZLrSI 有点贵，1TB 一年 2700 左右。有点恐怖了

[COW]

presto 非常吃内存的，而且也不太推荐用于块存储查询，要不看看 ck ？

[linhrdom]

@COW 感谢建议，避坑了

[Maboroshii]

没有银弹... 最简单就是存文件，grep 查

[bruce0]

我前几天刚搭了一套 ELK, filebeat 收集,logstash 分析处理,ES 存, kibana 展示. 除了 filebeat 都是 docker(podman) 跑的, 现在只收集程序运行 log.每天 2G 左右,保存 14 天,原始 log 永久保存(gov 规定的)

前几天想把玩家行为 log 也写入 ES,每天可能在 10G 左右,打算保存 1 年+, 算了一下,硬盘需求太大,还是用原来的吧(原来有一套程序+脚本能通过原始 log 文件查找分析玩家行为) 就没必要把行为 log 再写入 ES 了

[vincentWdp]

aws Athena? 虽然成本也不低

[Dragonish3600]

aws s3

[pingdog]

买冷存储块，3 天后就放入冷库，要查在捞出来

[DefoliationM]

quickwit+s3 ，完美符合你的要求，支持全文搜索。

[ETiV]

https://github.com/openobserve/openobserve

🚀 10x easier, 🚀 140x lower storage cost, 🚀 high performance, 🚀 petabyte scale - Elasticsearch/Splunk/Datadog alternative for 🚀 (logs, metrics, traces).

OpenObserve (O2 for short) is a cloud-native observability platform built specifically for logs, metrics, traces, analytics, RUM (Real User Monitoring - Performance, Errors, Session Replay) designed to work at petabyte scale.

[perfectlife]

云上直接用云平台的日志服务，想降低成本就设置把历史日志扔到归档存储里

[BlueSpace4512]

我有一技：
你去 steam 上买个 wallpaper engine
然后使用 SteamCMD 命令行向 wallpaper engine 创意工坊上传作品，在这个作品里把你的日志文件加密丢进去，然后随便整个图片包装下上传，描述或者标题就写你的日志备份日期
一次传十几个 G 的文件没太大问题，还能免费用到 steam 的 CDN 下载服务
而且完全可以自动化进行，因为 steam 有 SteamCMD 功能可以命令行运行，可以部署在 linux 或者 docker 上

[w568w]

看看 InfluxDB ？ https://www.influxdata.com/influxdb-pricing/

[ETiV]

我也给我们项目写过

- 日志每天 gzip 上传到阿里云 oss 、AWS S3 这种地方，存储路径、文件名都有规律的
- 配置好归档冷存储策略
- 等需要搜索的时候，大批量开按量计费的虚拟机，然后用分布式、多进程、管道化的方式来 gunzip | grep 想要搜索的内容
* 机器都开在了同 region ，访问走内网域名，不会收取 egress 流量费
- 上面的工作是一个异步的任务，开跑了就可以挂着了
- 跑完会给企业微信群里发条消息，说最终 grep 匹配出来的结果放在了什么路径下。然后把跑任务的机器自动关机。