1.5 亿行数据，每天新增 10 万行左右， 5 分钟内提取新增行，请问能实现吗？

[fourstone]

5 分钟内提取新增 10 万行左右，反正越快越好
用什么办法实现？服务器内存数据库？
多少钱能开发做到？
谢谢

[tqyq88]

这数据量不算大，elasticsearch 就可以做到，普通配置

[YouLMAO]

提取太简单了哪需要 5 分钟，30 秒搞定

[YouLMAO]

Codis 一秒百万没问题

[fourstone]

@YouLMAO 我想要的就是每天在服务器上自动获取，自动提取，明天几亿行数据都是重复的，新的才 10 几万行

[ebingtel]

@fourstone 数据重复 加生成个 hash 么？ 加个单表 搞个唯一键 记录下上次获取的最大 id ？

[xcstream]

这数据量不算大 一条 sql 就能出来吧

[antpi]

YW50eDIwMDYwMQ==