上百亿数据规模数据数据如何进行处理

2017-03-03 13:58:14 +08:00
 SlipStupig
400 亿规模的数据规模如何进行快速搜索和入库呢？用 mongodb 集群+es 可以完成这项任务吗？
3014 次点击
所在节点    程序员
13 条回复
qfdk
2017-03-03 15:46:54 +08:00
同样问题 你们入库速度大概多少 我 26000000 大概半小时 单机 es
herozhang
2017-03-03 15:48:51 +08:00
磁盘、内存、 CPU 是啥配置，不说没法对比啊
qfdk
2017-03-03 15:51:32 +08:00
@herozhang 内存 16g i7 三代 硬盘 500g ubuntu 16 04
XiaoFaye
2017-03-03 15:53:29 +08:00
@qfdk 500g HDD?
herozhang
2017-03-03 15:59:58 +08:00
通用思路应该是根据搜索需求的具体情况来分库，热数据直接放内存，冷数据放硬盘
wph95
2017-03-03 16:55:18 +08:00
500g HDD ？？？
你每条数据有多小？
10b 一条？
stabc
2017-03-03 16:58:52 +08:00
我觉得做这种事情的人问这种问题有种悖论在里面。
就好像之前看过一个询问“我就要当 CEO 了，请问 CEO 平时都做些什么？”
yepinf
2017-03-03 17:03:32 +08:00
['100 亿数据 1 万属性数据架构设计']( http://www.36dsj.com/archives/75363)
SlipStupig
2017-03-03 17:11:05 +08:00
@wph95 每天数据应该在 100kb 以内吧
qfdk
2017-03-03 17:14:31 +08:00
@XiaoFaye 对 hdd 大概 100000 数据 /s 每个包大概 14Mb
lhbc
2017-03-03 17:48:20 +08:00
这个问题至少值几十万年薪啊
SlipStupig
2017-03-03 17:59:44 +08:00
@lhbc 月入 5.5 块的路过...
wshcdr
2017-03-03 18:00:09 +08:00
关注这个问题

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/344615

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX