怎么搭建一个大数据分析平台呢?想搭建一个自用的平台,数据量也不是很大 5T 左右吧

2018-02-05 22:29:12 +08:00
 jahan

现在想如何才能搭建一个大数据平台呢?有没有文档可以参考? 数据库都文本形式的, 有没有可视化的数据分析工具呢?拖动组件实现分析?

5791 次点击
所在节点    数据库
96 条回复
winglight2016
2018-02-06 20:39:27 +08:00
@jyf007 是啊,一开始别人介绍我也以为是那个操作系统,看了一下网站发现 UI 设计的不错,应该还可以吧
yingfengi
2018-02-06 21:27:33 +08:00
5T 大数据? 不会是什么裤子吧
realpg
2018-02-07 00:22:44 +08:00
@jahan #54
730 多贵……
折腾 N 手 720 如果对 CPU 要求不高,甚至 710 ( 24 线程 96G 内存也就两三千块钱搞定)
机房一丢美滋滋
likuku
2018-02-07 00:27:46 +08:00
@jahan aws 可以全加密,密钥都在你手上。当然,得海外 aws,(国内 aws 没有 根账号)
jahan
2018-02-07 01:11:23 +08:00
@realpg 有考虑过,不过确实噪音感人啊,目前还没有机房,人机一间房。
jahan
2018-02-07 01:13:46 +08:00
@realpg 话说有这么便宜吗
realpg
2018-02-07 01:15:55 +08:00
@jahan #66
就是这么便宜……
我搞机房的,我这里用户,节约成本玩法的租机客户全是 1366 平台…… 然后略微要新一点就 E5v2
现在普遍应用都是 IO 敏感,cpu 性能早就过剩了……
realpg
2018-02-07 01:16:48 +08:00
@jahan #66
举例吧,这边大带宽的用户,国内前几名的大视频站的 cdn 边缘节点,缓存,几乎全是这些垃圾二手服务器跑的
jahan
2018-02-07 01:28:01 +08:00
@realpg 长见识了。。。。是个解决硬件问题的办法。
toono
2018-02-07 08:55:42 +08:00
elk 或者 druid + superset。
yanzixuan
2018-02-07 09:08:45 +08:00
@jahan elasticsearc 就是存数据啊,等效于数据库。。。
jahan
2018-02-07 09:22:01 +08:00
@realpg 搜索了一下某宝,还真没发现有 2-3000 能搞定得 24/96g 二手?是不是关键字错了?
fff333
2018-02-07 09:55:07 +08:00
tableau 是很不错的
jahan
2018-02-07 10:08:47 +08:00
@fff333 商用付费吧,而且存储数据怎么弄?数据库?hadoop ?
zhzy0077
2018-02-07 10:17:19 +08:00
realpg
2018-02-07 11:07:32 +08:00
@jahan #72
你买整机怎么可能搞定……
自己折腾 这东西我都搞了两百多套了 现在机房的低价销售的虚拟化集群都是这玩意
HP DELL 的准系统 自己配 CPU 内存去 内存 4G 也就 50 左右 插满 24 条就是 96 了 ¥ 1200 机框 HP DELL 的 1366 也就几百元 CPU 两颗看你主频选择,200~600 之间
以上都不算硬盘 存储系统从来都是单算的
jahan
2018-02-07 11:50:11 +08:00
@liyer 这个貌似单机就可以操作。麻烦请教下有 elk 三者结合比较完整的教程吗?
jahan
2018-02-07 11:54:53 +08:00
@liyer 貌似能够比较快速的部署,话说这种对日志分析应该也能对记账流水类的数据库导出文件分析吧。
feverzsj
2018-02-07 11:55:21 +08:00
单机就能搞定
9songs
2018-02-07 12:01:28 +08:00
@WildCat +1 2333

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/428727

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX