求[读多写少、大字段]数据库技术推荐

205 天前
 OysterQAQ

用于存储样本的特征,几千维的浮点数据和文本数据。仅按照 id 查询,修改很少。目前用 mysql 存储( longblob ),由于近期有图的需求,需要在一个请求里一次性查几百个 id ,耗时在 1min 左右。

1487 次点击
所在节点    数据库
26 条回复
815979670
205 天前
@Desdemor ClickHouse 快 但应该不符合 op 的需求,ClickHouse 是做 OLAP 场景的 如果是条数多还行,但是单条的内容多 可能不是很合适
OysterQAQ
205 天前
@8355 我不知道算不算大文本 三个 longblob 字段分别是 1024 维的 float 数组 512 维 float 数组 256 维 flost 数组

@Desdemor olap 适合数据聚合分析而不是单条查询吧
MidGap
205 天前
想判断是否是字段太大,这个思路靠谱么?建一张一样的表,存小的数据同样的查询比较一下,感觉光“觉得”没法找到有效解决办法呢~
flmn
205 天前
这种场景,很明显是 HBase 最适合的。

但是 HBase 的开销不小。

我想问下,在一个请求里一次性查几百个 id ,是查所有维度,还是单个或者几个维度?
thevita
205 天前
数千个维度 大概 数 K-数十 k, 典型小对象,存取, 数百个 也就 几十 MB ,mysql 要一分钟, 应该就是 io 次数多一点.
用 object store 或者 kv ?

好处在于有现成的云或分布式方案,对 ssd 优化也好,能承担更大量的并发读

再,看读上是否有写 固定模式,可以适当做一些读优化设计(毕竟说 读多写少)
charslee013
205 天前
> 主要是反过来用向量查 id 的 #22

有个疑惑,为什么不在 Milvus 新增一个 ID 字段用来映射 mysql 数据库?

在 milvus 进行向量查询之后根据返回的 ID 字段来反向查询 mysql 数据库 🤔

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/986844

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX