几百万条更新频率很低的数据用什么低(零)成本的存储方便查询?

2022-07-26 10:19:42 +08:00
 damngoto

放到数据库虽然查询快,但是成本对我来说高了:)

放到 csv 里面费内存,serverless 服务的还不太好调用。

Apache 有个 parquet 格式,不知道这个量级查询速度怎么样。

2350 次点击
所在节点    Serverless
9 条回复
pota
2022-07-26 10:31:25 +08:00
数据少的话放到 cloudflare workers kv 里面?
gfreezy
2022-07-26 10:40:05 +08:00
sqlite 可以吗
EchoUtopia
2022-07-26 11:15:02 +08:00
之前看过一个很强很便宜方案:用 sqlite 存储分片数据,把 sqlite 数据库文件存储到对象存储里面去(非常便宜),然后使用 serverless 去查询分片数据,最后再聚合一次
damngoto
2022-07-26 11:29:03 +08:00
@pota workers kv 支持多少数据
pota
2022-07-26 11:31:29 +08:00
@damngoto #4 空间 1GB
damngoto
2022-07-26 11:34:14 +08:00
@EchoUtopia 嗯,我想到的也是类似。主要担心查询速度和同时服务用户数,😁
damngoto
2022-07-26 11:34:46 +08:00
@pota 哇,那应该够了。我去了解下。
gesse
2022-07-26 12:37:31 +08:00
@EchoUtopia
有地址可以看吗?
EchoUtopia
2022-07-26 19:05:39 +08:00
@gesse
@damngoto
忘了,好像聚合是利用 postgres 聚合的,性能非常好,关键价格便宜。并发就不知道了。当时是在 twitter 刷到的,好像是发布在 hackernews 上的。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/868715

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX