请教下 V2 的大神们,如何在一台 32g 核显的设备商每秒钟写入 1000 万数据点,并且每隔一秒写一次,我这边使用的时序数据库,但是使用高并发写入最多也是 1s40 万数据点,有做过这方面的大佬吗,提供下想法也行.....
1
zzmark06 Feb 17, 2025
只说 1000w 数据点,还得考虑这 1000w 条是什么格式。
json? kv? 还是什么 写入是流写还是批写 写入时效性要求是多少。 机器内存 32g ,网卡呢,1000w 行数据若是大点,千兆网卡必爆的。 |
2
chenxiansheng OP 谢谢回复,后面已经解决了,方案是使用时序数据库提供的多表插入拼接语句,一条 sql 可以插入大概 1m 的数据,这样差不多一次就可以插入大几十张表了,然后分多个线程去插入,效果可以达到,注意管理面数据库连接池的问题就行
|