V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
binjjam
V2EX  ›  问与答

为什么千万级、亿级数据有那么多大侠推荐 mongodb

  •  
  •   binjjam · 2017-06-19 14:19:08 +08:00 · 3850 次点击
    这是一个创建于 2508 天前的主题,其中的信息可能已经有所发展或是发生改变。

    site:v2ex.com/t 千万 亿 mongo 数据库 搜了下这个,挺多哥哥推荐别人用 mongodb 的,不知道是自己真用过还是随口说说,我发现一下子就达到了这个 16MB 的限制,是否他们那么多数据都是用的 GridFS 的?对 mongodb 不熟,我存信息的时候是一个用户一个文档,单个用户的信息没那么大,所以不会超过 =.=但是数据量大的,如日志是怎么个玩法?

    BSON Document Size The maximum BSON document size is 16 megabytes.

    The maximum document size helps ensure that a single document cannot use excessive amount of RAM or, during transmission, excessive amount of bandwidth. To store documents larger than the maximum size, MongoDB provides the GridFS API. See mongofiles and the documentation for your driver for more information about GridFS.

    https://docs.mongodb.com/manual/reference/limits/

    12 条回复    2017-06-20 14:19:48 +08:00
    BOYPT
        1
    BOYPT  
       2017-06-19 14:33:48 +08:00
    每项技术都有其擅长和不擅长的方面吧,显然 mongodb 不擅长于处理单条信息很大的数据,但是这不妨碍其擅长千万级信息的处理啊。
    sujin190
        2
    sujin190  
       2017-06-19 14:42:07 +08:00
    什么日志能一条记录就超过 16m 的,16m 已经非常大的了
    gouchaoer
        3
    gouchaoer  
       2017-06-19 14:49:02 +08:00
    mongodb 数据容易坏,不堪大用,很多短板最近两年才慢慢补了。。。。。有很多小白喜欢人云亦云
    xgfan
        4
    xgfan  
       2017-06-19 15:02:23 +08:00
    很少有场景单条数据超过 16M 的。
    MongoDb 使用简单,集群维护简单。
    stabc
        5
    stabc  
       2017-06-19 15:09:18 +08:00
    顶 LS,这种数据库在数据量膨胀时只要无脑加硬件就可以了,对于 DBA 来讲简直美滋滋。
    scys
        6
    scys  
       2017-06-19 16:29:08 +08:00
    看你怎么定义日志,有些日志被定义为“可丢失”“无必要完全的可靠化存储”,可是要求能够快速“查询”,这个时候场景下,你就用 Mongodb 会发现非常好用,而且还附带了方便的可扩展,给我选型,我肯定选 Mongodb。
    而且就算是丢失,Mongodb 也没有弱到,不停丢失,能到了某个程度才会“可能”出现问题。
    可到了“某个”程度后,你技术该更新换代了。
    ---
    DBA 喜欢呀,你还想怎么样。
    xinyewdz
        7
    xinyewdz  
       2017-06-19 18:08:33 +08:00
    mongodb 很吃内存。如果内存不够大,加上经常删数据的话,就会导致频繁的内存换页,反而不如 mysql。
    tinyproxy
        8
    tinyproxy  
       2017-06-19 19:45:19 +08:00 via iPhone
    楼上经常删数据库什么鬼
    Morriaty
        9
    Morriaty  
       2017-06-20 09:57:25 +08:00
    有亿万级数据,显然所谓的查询需求更多的集中在聚合,显然 Hadoop 系和 ElasticSearch 更适合。
    binjjam
        10
    binjjam  
    OP
       2017-06-20 13:11:22 +08:00
    @sujin190 有些日志能超过,不过比较少 =.=
    @BOYPT @gouchaoer @scys 目前对 mongodb 不熟悉,只会简单地 CRUD,之前打开的方式可能不对,我再了解看看=.=
    binjjam
        11
    binjjam  
    OP
       2017-06-20 13:12:06 +08:00
    @xinyewdz 我这里也看到 mongodb 很吃内存,然后重启后内存能下降很多 =.=
    IJustmaogepao
        12
    IJustmaogepao  
       2017-06-20 14:19:48 +08:00
    16m 不小了。。一本 100w+字的小说也就 2m+。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   804 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 64ms · UTC 22:01 · PVG 06:01 · LAX 15:01 · JFK 18:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.