• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
wangluowangwang
V2EX  ›  酷工作

资深大数据架构师/数据平台专家/数仓架构师-上海-45k-65k

  •  
  •   wangluowangwang · 6h 12m ago · 321 views
    [高级大数据架构师]

    一、岗位职责

    1. 负责公司数据平台整体架构设计与演进,制定实时数仓、数据湖/湖仓及云原生平台技术规划。
    2. 主导实时数仓、数据湖及 OLAP 平台建设与优化,提升数据处理效率、稳定性及扩展能力。
    3. 负责关键技术方案设计、技术选型、性能优化及架构升级,推动核心项目落地。
    4. 带领技术团队完成复杂项目交付,制定技术规范、优化研发流程及提升工程效率。
    5. 支撑业务数据平台建设,推动数据资产产品化、数据服务化及数据治理体系建设。
    6. 负责数据平台成本优化、资源治理、数据质量、元数据及数据血缘等治理工作。


    二、任职要求

    1. 本科及以上学历,计算机、软件工程、大数据等相关专业。
    2. 7 年以上大数据平台或数据架构相关经验,具备大型数据平台架构设计及落地经验。
    3. 精通 Hadoop 、Hive 、Spark 等大数据生态,具备 TB/PB 级数据处理及性能优化经验。
    4. 熟悉 Flink 、Kafka 、Iceberg 、Hudi 、Paimon 等实时数仓及数据湖技术,并具备实际项目经验。
    5. 精通 StarRocks 、Doris 、ClickHouse 等至少一种 OLAP 引擎,具备 OLAP 平台优化经验。
    6. 熟练使用 Java 、Scala 或 Python ,具备良好的工程化开发能力( Git 、Maven 、CI/CD )。
    7. 熟悉 Lambda/Kappa 架构,能够独立完成架构设计、技术评审及项目落地。
    8. 具备数据治理经验,包括元数据、数据质量、数据血缘及生命周期管理。
    9. 具备良好的架构设计能力、跨团队沟通能力及技术推动能力。


    三、加分项

    • 有 Hadoop 向云原生( Kubernetes + Object Storage )迁移经验。
    • 有实时数仓、数据湖、湖仓一体建设经验。
    • 有 DMP 、营销科技( MarTech )或 AdTech 行业经验。
    • Apache 开源项目 Contributor / Committer 优先。
    • 有 5-10 人以上技术团队管理或技术负责人经验。


    邮箱: [email protected]
    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3007 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 14:25 · PVG 22:25 · LAX 07:25 · JFK 10:25
    ♥ Do have faith in what you're doing.