关于大数据（千万级，亿级）的查询问题

[qq8331199]

现在有两张表，一张工商表 6000 万数据，一张工商变更记录表 1.5 亿数据，工商表和变更记录表是一对多的关系，没有物理外键
需要用工商 6000 万的表同步一张新的表，
在同步的过程中需要去查变更记录表，算一些衍生数据，现在就是批量查变更记录表特别慢，
传 1 万个“公司 id”去变更记录表都查要十几分钟，“公司 id”在变更记录表已经建了索引，但是还是慢
已经尝试过分表，“公司 id”去 hash 分表 查询速度不是很明显

[ipwx]

加内存，用内存数据结构做。

这可能是最容易的优化方法

[wzq001]

传 1 万个“公司 id”去变更记录表都查要十几分钟

[wzq001]

??? 业务需要批量变更数据？能不能单独的变更

[yidinghe]

试下 elastic search，将计算负担分流到多个节点

[saberlong]

分片。把两张表拉下来，根据公司 id 分片，存到磁盘上。然后一个一个分片加载到内存中计算。磁盘持久化的 b+树上千万级，性能下降很厉害。

[ericbize]

不说说什么硬件么

[zoharSoul]

不说说什么硬件么
正常来说 1w 个公司 id 去查记录表应该是秒出

[goobai]

数据同步到 es，然后再查

[qq8331199]

@zoharSoul @ericbize
2t 机器硬盘+128G 内存

@goobai @yidinghe
试过了，es 不适合做单纯的查询，我对分词没要求，只是想查出表的数据

@wzq001
不是批量变更，是数据同步，需要根据查其他表，计算出衍生数据，比如新的表里面会标记出公司是否有资本增长，类似这种字段

[qq8331199]

@wzq001
全量同步 6000w 数据，不可能查 6000W 次吧

[feirenK]

hbase

[feirenK]

ck

[ytmsdy]

贴一下执行计划，这样大家可以集思广益的看一看。

[zhengsidao]

用 es 去查实际上是比较快，1.5 亿的数据量很少，term query 很快就能找到。
不过就算是用什么来存储 一万个 id 要查十几分钟，你们到底怎么存的，会这么慢

[tulumu]

可以试试实时计算行不行
1. 变更表 binlog 实时更新到 kv 存储中(redis/hbase)
2. 接入主表 binlog, flink 实时 lookup 或者 lookup 缓存 来关联变更维表(redis/hbase), do something, 产生你想要的逻辑的新表

[ddkk1112]

上 clickhouse

[tiiis]

mysql ？ 看看索引有没又生效哦，我们几十亿数据 mysql 分好表做好索引也可以毫秒级别的

[aragakiyuii]

数据库，表结构，索引都是什么？
这些不知道的话挺难想思路的。。。

[ericbize]

什么数据库？ mysql 的话 看看 buff pool 是多少啊， 正常 128 G 内存 如果放 两张表 都可以全部进内存了吧

[hongweiliuruige]

mysql8.0