V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
MakHoCheung
V2EX  ›  问与答

请教一下 Hugging Face 上的模型怎么下载下来使用

  •  
  •   MakHoCheung · 69 天前 · 1199 次点击
    这是一个创建于 69 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如题,比如如何把 LLama 3.2 内嵌到一个 Java 应用让 Java 调用呢? 我看上面都是作为一个 Python 库给 Python 调用
    第 1 条附言  ·  69 天前
    研究了一下,模型转换一下即可,结贴
    8 条回复    2024-09-29 18:13:47 +08:00
    dejavuwind
        1
    dejavuwind  
       69 天前 via iPhone
    Java 应该没啥库能直接调用模型吧,虽然理论上可以做到,但即便有应该也是很小众的,可以尝试找找
    为啥不考虑把 python 调用模型封装成服务然后给 java 调用呢
    主流的 AI 相关的库很多都是 python 写的
    并且模型文件本身并不能被直接运行 需要通过 python 或者一些 AI 相关的库加载然后调用
    murmur
        2
    murmur  
       69 天前
    不会用就别折腾,下一个 xinferrence 这样的服务器,可以下载模型,提供服务,甚至还支持切换国内镜像
    murmur
        3
    murmur  
       69 天前
    模型服务器可以把接口抽象成 http 调用,贼好使,还自带问答调试界面,干嘛自己折腾模型啊
    idblife
        4
    idblife  
       69 天前
    ollama
    CHEN1016
        5
    CHEN1016  
       69 天前 via iPhone
    我也想下载,我看 ios 上有个软件可以导入模型,想试试 qwen2.5 和 llama3.2 上的端侧小模型,就是不知道怎么下载
    clf
        6
    clf  
       69 天前
    我们都是直接用 vllm 之类的跑大模型,然后通过 api 调用的。Java 不适合做这类事情。你可以把大模型+运行它的东西看作是一个服务。Java 当作客户端就行。

    Java 推荐 langchain4J ,有封装各个大模型的 api 接口格式。
    ahjiangwu
        7
    ahjiangwu  
       69 天前
    你的标题和描述的内容实际上是两个问题

    1 、如果单存是想从 huggingface 下载模型可以参考:
    https://huggingface.co/docs/hub/models-downloading
    当然,魔搭上也可以下载: https://www.modelscope.cn/docs/%E6%A8%A1%E5%9E%8B%E7%9A%84%E4%B8%8B%E8%BD%BD
    (#5 可以参考)

    2 、如果是想用 java 调用模型,可以用 vllm 部署,vllm server 提供了 api 的调用方式,java 直接调用就可以了
    也可以用 xinferrence ,部署起来会更方便一些
    MakHoCheung
        8
    MakHoCheung  
    OP
       69 天前
    @CHEN1016 我就是看到那个 app 才发问的,最后我研究了一下,Hugging Face 的模型转 CoreML 模型
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2508 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 00:11 · PVG 08:11 · LAX 16:11 · JFK 19:11
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.