数据中台目前都是怎么的技术架构

2024-06-05 08:15:16 +08:00
 zhuwd
公司也要搞所谓的数据中台了,想少踩几个坑,向 V 友们请教学习
11094 次点击
所在节点    程序员
55 条回复
Govda
2024-06-05 14:12:50 +08:00
啊 这风不是都吹走了吗
huBane
2024-06-05 14:27:53 +08:00
中台就是一个噱头,当前公司跟风搞过失败了,留下一堆乱摊子。
wa007
2024-06-05 14:59:13 +08:00
中台是为了降低新业务接入的成本,但随着行业走下坡路,新业务变少,中台的意义自然就降低了。
he123
2024-06-05 15:14:55 +08:00
产品分为离线和实时,
数据的离线同步和实时同步,入湖等
基于 flink spark 对同步的数据做计算,分析,提供各种报表,业务分析决策依据
元数据的管理,如血缘解析

代码结构
平台层 调度层 计算引擎层
lambdaq
2024-06-05 15:22:26 +08:00
中台中台,一中一台,这玩意核心的是面向岗位安全编程。怎么耦合怎么来,最好全公司最赚钱的流程都套上。这样没人敢开你。
hui9000
2024-06-05 15:36:19 +08:00
看公司有多大的投入了
对于老板来说就是想看各种报表还有数据大屏。基本上 90%的公司做到这就截止了。
逻辑来说就是将业务数据汇总到数据中台中进行计算、展示、输出等
数据汇集包含离线的+实时的。
离线的:数据抽取工具 sqoop+HDFS+Spark+Hbase
hui9000
2024-06-05 15:37:26 +08:00
实时的:springcloud+kafka+flink+ClickHouse
lizy0329
2024-06-05 16:01:55 +08:00
你知道数据中台是干什么的吗?
joetao123
2024-06-05 17:28:25 +08:00
我们的方案是数据同步使用 datax ,数据存储和计算使用 cdh 的 Hive 和 Spark ,前端有可视化拖拽开发,生成开发任务,也就是 Hive SQL ,最后是将 Hive 中的数据导出到 Mysql 或者 ES 提供数据订阅服务。系统中也实现了 DAG 的任务流调度功能,用来调度数据采集、数据加工和数据导出任务。
tangv2
2024-06-05 18:02:01 +08:00
反正没个几年搞不定,赶工的都一堆 bug
009694
2024-06-05 19:47:49 +08:00
你们这风吹的延迟太大了。。 差不多是十年前的概念了 现在这个概念连阿里自己都不提了 不用了
LeegoYih
2024-06-05 20:19:27 +08:00
去中台中。。。
tangqiu0205
2024-06-06 13:12:26 +08:00
49 年入国军,18 年那会比较流行,现在都在去中台化吧。
dododada
2024-06-06 14:46:40 +08:00
现在搞的是数据要素化,数据集市,这东西是政府牵头,大数据局+网信+通管+其他部门+企业搞的;

中台没见过,但是数据治理,首先你得有数据才行,你有异地多活么?你的多机房同步流量跑满 200G 带宽没?你量这么大,数据资产都散落在哪儿你知道么?哪些数据是有用的哪些是垃圾怎么分

这个活儿以前我们是属于运维中心的数据部门搞的,主打一个绩效无关,因为实在是不好弄。
bug51
2024-06-13 01:30:38 +08:00
@zhuwd 楼主 公司发了工资了吗?还是跳槽了?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1046871

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX