elasticsearch 支持的数据量太小了,对 50 万行数据查询都是 1 秒多,有没有替代产品?

2017-11-29 20:12:15 +08:00
 Reign

如题,MySQL 总共 50 万行数据,30 个字段,全部存到 ES 中查询,平均耗时 1 秒,太慢了,虽然我的是渣渣机械盘,也不至于连 50 万行的数据都支撑不了吧,有没有比 ES 更优秀查询时间优化的更好的免费产品???

15009 次点击
所在节点    Elasticsearch
44 条回复
alwayshere
2017-11-30 08:19:56 +08:00
@zhx1991 你确定 50W 用 mysql 的 LIKE 查询能在 5ms ?
fuxkcsdn
2017-11-30 09:00:01 +08:00
@alwayshere 听过 mysql 的全文索引吗?
能否 5ms 我不确定,但 1s 内返回肯定是可以的,上家公司我们 300 万数据也是放 mysql 里用全文索引
btw,mysql 全文索引和 like 查询是两码事
kwklover
2017-11-30 09:15:19 +08:00
才 50 万的数据,这个机器配置不算低了,不过 30 个字段是个核心

如果每个字段都是跟文章一样的长字段,那么其实 50 万数据跟一般概念的 1500 万数据量差不多,也不算小了。

楼主的什么系统,要索引 30 个字段?
janxin
2017-11-30 09:44:29 +08:00
才 50w 数据,es 没问题的
thinkmore
2017-11-30 10:05:37 +08:00
应该是你姿势不对,我们几千万数据也才差不多一秒呢
jyf
2017-11-30 10:08:02 +08:00
跟你配置有关系 我这里 100 亿的数据 只有五六台机器 也就一秒左右
vus520
2017-11-30 10:35:00 +08:00
在 1 亿条数据里查找匹配内容,返回前 50 条。
共有数据 :5392450 条,显示最新 50 条,用时 382 ms
yanzixuan
2017-11-30 10:47:11 +08:00
@zn 10 刀一年的 VPS 多大内存? es 能跑得起来么?
well
2017-11-30 10:52:21 +08:00
5 台服务器,2600 亿,近 50TB,无 SSD,也就秒级能出。如果玩不转建议不要玩。
vus520
2017-11-30 10:55:18 +08:00
@well 50TB 原始数据,还是 50TB 索引之后的数据?我刚刚查了一下,我这不到百亿的数据就 20TB 了。
well
2017-11-30 10:58:37 +08:00
@vus520 有自己的数据特点,开启了 source。
Juice520
2017-11-30 11:33:40 +08:00
我普通的全文搜索,1 亿数据耗时不到 100ms
owenliang
2017-11-30 12:04:06 +08:00
50 万数据磁盘空间 du 看看占了多少,可能内存不太够。
owenliang
2017-11-30 12:04:25 +08:00
@owenliang 可以压一点搜索流量,iostat 看看机器的 IO 情况。
farseeraliens
2017-11-30 12:20:49 +08:00
楼主需要的是用一个 language model 先判别语言,再在该语言特定的列中检索。
Reign
2017-11-30 12:21:58 +08:00
@farseeraliens 没特别好用的语言检测代码,你推荐个?
SoulSleep
2017-11-30 12:23:25 +08:00
自己不会用甩锅系列...
50w 数据有几十个 G 嘛?
4C 16G 服务器,0.0xs 跑的飞起
omygod
2017-11-30 12:47:03 +08:00
16G 内存你给 es 分了多少
Reign
2017-11-30 13:25:10 +08:00
@omygod 刚刚 export ES_HEAP_SIZE=10g,重启 ES,查询时间还不是一样,我估计用到假的 ES 了
allenhu
2017-11-30 16:30:38 +08:00
每次看到楼主的帖子都想笑

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/410623

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX