资深大数据架构师/数据平台专家/数仓架构师-上海-45k-65k

8 月 5 日
 wangluowangwang
[高级大数据架构师]

一、岗位职责

1. 负责公司数据平台整体架构设计与演进,制定实时数仓、数据湖/湖仓及云原生平台技术规划。
2. 主导实时数仓、数据湖及 OLAP 平台建设与优化,提升数据处理效率、稳定性及扩展能力。
3. 负责关键技术方案设计、技术选型、性能优化及架构升级,推动核心项目落地。
4. 带领技术团队完成复杂项目交付,制定技术规范、优化研发流程及提升工程效率。
5. 支撑业务数据平台建设,推动数据资产产品化、数据服务化及数据治理体系建设。
6. 负责数据平台成本优化、资源治理、数据质量、元数据及数据血缘等治理工作。


二、任职要求

1. 本科及以上学历,计算机、软件工程、大数据等相关专业。
2. 7 年以上大数据平台或数据架构相关经验,具备大型数据平台架构设计及落地经验。
3. 精通 Hadoop 、Hive 、Spark 等大数据生态,具备 TB/PB 级数据处理及性能优化经验。
4. 熟悉 Flink 、Kafka 、Iceberg 、Hudi 、Paimon 等实时数仓及数据湖技术,并具备实际项目经验。
5. 精通 StarRocks 、Doris 、ClickHouse 等至少一种 OLAP 引擎,具备 OLAP 平台优化经验。
6. 熟练使用 Java 、Scala 或 Python ,具备良好的工程化开发能力( Git 、Maven 、CI/CD )。
7. 熟悉 Lambda/Kappa 架构,能够独立完成架构设计、技术评审及项目落地。
8. 具备数据治理经验,包括元数据、数据质量、数据血缘及生命周期管理。
9. 具备良好的架构设计能力、跨团队沟通能力及技术推动能力。


三、加分项

• 有 Hadoop 向云原生( Kubernetes + Object Storage )迁移经验。
• 有实时数仓、数据湖、湖仓一体建设经验。
• 有 DMP 、营销科技( MarTech )或 AdTech 行业经验。
• Apache 开源项目 Contributor / Committer 优先。
• 有 5-10 人以上技术团队管理或技术负责人经验。


邮箱: wangfeng588888@gmail.com
2380 次点击
所在节点    酷工作
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1232268

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX