chenxiansheng
V2EX  ›  数据库

请教下 V2 的大神们

  •  
  •   chenxiansheng · Feb 7, 2025 · 2022 views
    This topic created in 475 days ago, the information mentioned may be changed or developed.
    请教下 V2 的大神们,如何在一台 32g 核显的设备商每秒钟写入 1000 万数据点,并且每隔一秒写一次,我这边使用的时序数据库,但是使用高并发写入最多也是 1s40 万数据点,有做过这方面的大佬吗,提供下想法也行.....
    2 replies    2025-02-18 10:37:03 +08:00
    zzmark06
        1
    zzmark06  
       Feb 17, 2025
    只说 1000w 数据点,还得考虑这 1000w 条是什么格式。
    json? kv? 还是什么
    写入是流写还是批写
    写入时效性要求是多少。
    机器内存 32g ,网卡呢,1000w 行数据若是大点,千兆网卡必爆的。
    chenxiansheng
        2
    chenxiansheng  
    OP
       Feb 18, 2025
    谢谢回复,后面已经解决了,方案是使用时序数据库提供的多表插入拼接语句,一条 sql 可以插入大概 1m 的数据,这样差不多一次就可以插入大几十张表了,然后分多个线程去插入,效果可以达到,注意管理面数据库连接池的问题就行
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3159 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 13:47 · PVG 21:47 · LAX 06:47 · JFK 09:47
    ♥ Do have faith in what you're doing.