1.5 亿行数据，每天新增 10 万行左右， 5 分钟内提取新增行，请问能实现吗？

2021-01-26 23:10:10 +08:00
 fourstone
5 分钟内提取新增 10 万行左右，反正越快越好
用什么办法实现？服务器内存数据库？
多少钱能开发做到？
谢谢
380 次点击
所在节点    外包
7 条回复
tqyq88
2021-01-26 23:17:17 +08:00
这数据量不算大，elasticsearch 就可以做到，普通配置
YouLMAO
2021-01-26 23:17:26 +08:00
提取太简单了哪需要 5 分钟，30 秒搞定
YouLMAO
2021-01-26 23:18:04 +08:00
Codis 一秒百万没问题
fourstone
2021-01-26 23:18:22 +08:00
@YouLMAO 我想要的就是每天在服务器上自动获取，自动提取，明天几亿行数据都是重复的，新的才 10 几万行
ebingtel
2021-01-27 09:08:00 +08:00
@fourstone 数据重复 加生成个 hash 么？ 加个单表 搞个唯一键 记录下上次获取的最大 id ？
xcstream
2021-01-28 16:10:38 +08:00
这数据量不算大 一条 sql 就能出来吧
antpi
2021-01-29 10:18:49 +08:00
YW50eDIwMDYwMQ==

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/748713

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX