怎么搭建一个大数据分析平台呢?想搭建一个自用的平台,数据量也不是很大 5T 左右吧

2018-02-05 22:29:12 +08:00
 jahan

现在想如何才能搭建一个大数据平台呢?有没有文档可以参考? 数据库都文本形式的, 有没有可视化的数据分析工具呢?拖动组件实现分析?

5308 次点击
所在节点    数据库
96 条回复
mejinke
2018-02-05 22:30:48 +08:00
你有几台机器?
wangkangluo1
2018-02-05 22:36:39 +08:00
ambari
hellojinjie
2018-02-05 22:37:55 +08:00
5T 也不是很大,直接 load 到数据里去就可以了。

我也想知道有啥可视化的数据分析工具,而且还能拖拉拽。
jahan
2018-02-05 22:53:27 +08:00
@hellojinjie 还是用数据库?还是建大数据平台?貌似需要不少机器啊
TimePPT
2018-02-05 23:04:50 +08:00
5T 也敢称大数据了…… Hadoop 哭了
victor97
2018-02-05 23:09:54 +08:00
ELK
SoulSleep
2018-02-05 23:23:09 +08:00
ELK 是什么鬼。。。

LZ 给你一个捷径~~搜“ CDH ”
lfzyx
2018-02-05 23:39:54 +08:00
jahan
2018-02-05 23:42:04 +08:00
@TimePPT 莫哭,说了不大。就是想尝试搭建一个平台,分析一下而已。
有没有不用消耗那么多机器的方案呢
alcarl
2018-02-05 23:51:55 +08:00
5t 对于大数据平台不大,但你要是想买一台机器直接实现来拖拉拽保证你爆炸。。。。
jahan
2018-02-05 23:52:38 +08:00
@alcarl 那还是要配足机器?
YYyoung
2018-02-06 00:01:57 +08:00
FineBI
alcarl
2018-02-06 00:05:59 +08:00
@jahan 并不是机器的问题,要预先做些处理汇总啥的,5t 直接拖,拖一下等不知道多久才能拖下一下。。。。可视化微软有 powerbi,也有免费版
alcarl
2018-02-06 00:10:11 +08:00
随便分析一下的话,常规的做法是弄个数据库,oracle 或者 sqlserver,根据需要抽取一些中间表,然后进行统计分析。幻想扔到大数据平台自动挖掘一下就能出美丽的报表和想要的数据的我只能呵呵了。开源大数据框架的小规模应用时的成本明显高于传统数据库
jahan
2018-02-06 00:12:28 +08:00
@alcarl 那倒没有幻想直接出报表。主要是看到好多帖子说整合这些组件就要很久。。。所以想找个合适的方案
isundust
2018-02-06 00:21:14 +08:00
你可能需要个企业版 bdp
azh7138m
2018-02-06 00:26:02 +08:00
@alcarl 什么 56C 1T 内存的机器我觉得不会爆炸(
alcarl
2018-02-06 00:28:17 +08:00
@jahan 试试 powerbi 微软的东西从来都是好用的不行,但数据量的问题要自己处理
alcarl
2018-02-06 00:33:02 +08:00
@azh7138m 会炸的即使你弄来 5t 内存也有很多不能并发的计算会要你命。。。。即使你都能并发,刷一遍 5t 也不是点一下就出来的,所以对于拖拽这种对即时响应要求快的,还是要降数据量。否则拖一下等半天自己都会骂娘。。。。。
jahan
2018-02-06 01:04:55 +08:00
@isundust 看 bdp 的介绍貌似是可以拖拽,不过这个底层是 greenplum 吗?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/428727

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX