V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
7911364440
V2EX  ›  程序员

关于 Flink 做数据传输的疑问

  •  
  •   7911364440 · 320 天前 · 1202 次点击
    这是一个创建于 320 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前是要做一个数据传输服务,需要根据页面提交的配置将数据从一个数据源同步到另一个数据源。数据源可能是关系型数据库,也可能是消息队列,或者 Hive 。

    了解了下 Flink 发现有两种提交 job 的方式:

    • 将程序打包成 jar 文件提交给 flink 去执行
    • 以 flink run 的形式执行 flink sql

    疑问是客户端运行时要怎么根据配置信息动态生成 flink job ,并远程提交给 flink 去执行

    3 条回复    2023-06-09 12:53:49 +08:00
    wangyiyi10
        1
    wangyiyi10  
       320 天前   ❤️ 1
    创建 remote env 。
    可以参考一下 Zeppelin 支持 Flink 的逻辑
    sijue
        2
    sijue  
       320 天前
    Akka Actor System 通信系统了解一下
    ttskym
        3
    ttskym  
       319 天前
    一条流里做,还是多条流做?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4783 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 03:59 · PVG 11:59 · LAX 20:59 · JFK 23:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.