首页   注册   登录
 dtgxx 最近的时间轴更新
dtgxx

dtgxx

V2EX 第 477915 号会员,加入于 2020-03-21 00:52:59 +08:00
今日活跃度排名 10440
使用 pymong insert_many 插入数据越来越慢
MongoDB  •  dtgxx  •  3 天前  •  最后回复来自 dtgxx
10
大佬们, Linux 内存情况看 free 还是看 available 呀
  •  1   
    Linux  •  dtgxx  •  4 天前  •  最后回复来自 dtgxx
    7
    求推荐,想在家里配置一台小服务器
    问与答  •  dtgxx  •  11 天前  •  最后回复来自 henyi2211
    6
    突然有一个时间方面的脑洞。。
    问与答  •  dtgxx  •  11 天前  •  最后回复来自 dtgxx
    29
    大家用 pycharm 的快捷键好使吗?
    Python  •  dtgxx  •  13 天前  •  最后回复来自 suotm
    10
    大佬们, mongodb 插入数据占空间咋那么大?
    MongoDB  •  dtgxx  •  12 天前  •  最后回复来自 picone
    5
    万能的 v 吧大佬给推荐个 Linux 性能测试软件吧
    Linux  •  dtgxx  •  18 天前  •  最后回复来自 aloxaf
    19
    dtgxx 最近回复了
    3 天前
    回复了 dtgxx 创建的主题 MongoDB 使用 pymong insert_many 插入数据越来越慢
    @anzu #8 下周试下 看看执行情况如何
    3 天前
    回复了 dtgxx 创建的主题 MongoDB 使用 pymong insert_many 插入数据越来越慢
    @anzu #8 主要是集合太多了,后面再去建可能相当麻烦。
    3 天前
    回复了 dtgxx 创建的主题 MongoDB 使用 pymong insert_many 插入数据越来越慢
    @sdot96 #1 目前数据集合做了分隔,每个集合数据量差不多 200 万,内存 64G available 剩余 20g 左右,cpu48 核 负载 20 左右 数据字段有六个,只有一个字段做了索引
    @tikazyq 之前考虑分集合存储,确实没想到插入这么的慢。。主要都是历史数据,想一次导入,后面就轻松了。索引的话,不创建后期查询就非常慢了,所以还是得创建。
    @22too
    @weizhen199 @tikazyq HBase 在类似的情况下插入,不会数据越多越慢吗?是因为列式存储?
    @specture 目前我有六个,后期查询的时候需要一个字段做索引查询,不知道有没有什么好的方式。。。感觉索引还是得要的。
    @listc #6
    @yujiang #20 “最好用最美观” 你觉得能搞出来么
    @dilu #1 了解了 感谢!
    @ccav #4 只修改了第一个,然后查看进程的打开数的时候,进程已经可以提升到最大了,目前没发现太大问题。最大的打开数是 2 的 20 次幂,目前看是够用的,之前以为打开文件数设置过多不是很好,看来没别的好办法,只能个提升这个了。
    @vk42 #2 好的谢谢,刚看了下这个文档。
    我之前调整了单个进程的文件最大打开数到 65535 还是不够,因为建的集合十分多,总觉得这个是一个不治本的方式。
    看来只能去把文件打开数上限做更大的调整了。
    不是问题多么简单,是你人有问题,你一定要好好反思啊,要不我觉得你会错怪很多人还不自知。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3140 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 11:40 · PVG 19:40 · LAX 04:40 · JFK 07:40
    ♥ Do have faith in what you're doing.