Olament
V2EX  ›  问与答

Pytorch 模型部署到服务器有没有什么好的方案?

  •  
  •   Olament · Dec 7, 2019 via iPhone · 4259 views
    This topic created in 2371 days ago, the information mentioned may be changed or developed.

    请问有没有类似下面这种的: 整个模型装进一个 docker 里面,然后提供一个 api。传入输入之后会返回一个 json 包含 inference 的结果。

    6 replies    2019-12-07 11:10:49 +08:00
    jdhao
        1
    jdhao  
       Dec 7, 2019 via Android   ❤️ 1
    用 flask 部署,提供一个服务接口,docker 里面接口映射一下即可
    widewing
        2
    widewing  
       Dec 7, 2019 via Android   ❤️ 1
    kubeflow
    jaswer
        3
    jaswer  
       Dec 7, 2019
    方案你不是自己都说出来了
    Olament
        4
    Olament  
    OP
       Dec 7, 2019
    @jaswer 我在想有没有类似于 tensorflow serving 这种的
    tfdetang
        5
    tfdetang  
       Dec 7, 2019
    不知道是不是我的错觉。模型用 tensorflow-serving-gpu 部署,同样的配置比本地的实验代码推理速度慢(同样配置)。当然 serving 部署比较方便是真的
    hdbzsgm
        6
    hdbzsgm  
       Dec 7, 2019
    seldon/tf serving/kf serving
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3023 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 57ms · UTC 15:02 · PVG 23:02 · LAX 08:02 · JFK 11:02
    ♥ Do have faith in what you're doing.