V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Sekai
V2EX  ›  程序员

搭建一套中小型的深度学习平台,大概多钱?

  •  
  •   Sekai · 2023-03-31 15:05:00 +08:00 · 5135 次点击
    这是一个创建于 423 天前的主题,其中的信息可能已经有所发展或是发生改变。
    包括硬件和请专业人员的费用。能够喂大量语料,训练后按要求产出相关文字,类似用 nature 论文训练 gpt 产生摘要这种。非个人,公司用,以后可能商业化。
    26 条回复    2024-03-24 11:46:57 +08:00
    qiayue
        1
    qiayue  
       2023-03-31 15:09:08 +08:00
    稍微打击一下,百度这么有钱,也有很强的技术,短时间都搞不定。你们公司完全没这方面经验想要搞定,很难。
    3img
        2
    3img  
       2023-03-31 15:10:11 +08:00
    A100 80G 一张十万
    vsitebon
        3
    vsitebon  
       2023-03-31 15:15:15 +08:00
    完全自己从零开始训练 GPT
    硬件:NVIDIA Tesla A100 40G 售 72000 元(单张),按千来算数量;
    其它服务器等成本;

    软件:至少三人以上团队开发界面;至少五人以上做深度学习团队;

    假设你软硬件都自己来,那估计成本不下亿
    lchynn
        4
    lchynn  
       2023-03-31 15:31:12 +08:00
    中小型公司,还是直接考虑 OPENAI PLUS 吧。 一块 A100 或者 H100 的价格, 估计能用上 1 年的 GPT 4 API 了。
    hutoer
        5
    hutoer  
       2023-03-31 15:37:28 +08:00
    为啥要 A100 、H100 ,A6000 有 48G 显存,才 2.6 万 1 张,也是可以搞搞
    Sekai
        6
    Sekai  
    OP
       2023-03-31 15:44:36 +08:00
    @qiayue 我可能没描述清楚,其实就是用 openai 提供的服务来训练自己的问答机器人,不是造轮子啊
    sadfQED2
        7
    sadfQED2  
       2023-03-31 15:49:41 +08:00 via Android
    调用 openai 接口?参考最近 csdn 那个,基本上一个人就能搞定,月薪两万吧。服务器阿里云乞丐版,200 一个月吧
    winglight2016
        8
    winglight2016  
       2023-03-31 16:15:21 +08:00
    现在已经有开源的 llm 版本了,不用 openai 也可以,我可以给你们出方案,硬件能控制在 20w 以内,软件可以忽略,人工的话,初期的话,一个月 10w ,验证通过后的商业化大概 20w 。

    这是我能想到最省钱的方案了。
    hutoer
        9
    hutoer  
       2023-03-31 16:27:46 +08:00
    @winglight2016 你说的是 OpenChatKit 、LLaMA 、alpaca 这种吧?貌似效果并不好。硬件的话 8 张 A6000 差不多 20W 。即便是拿开源 LLM 微调,想要好的效果,人力的成本也是很大的。
    qiayue
        10
    qiayue  
       2023-03-31 16:30:56 +08:00   ❤️ 1
    @Sekai 如果你是想用 openai 提供的服务来训练自己的问答机器人的话,看下面:
    zsj1029
        11
    zsj1029  
       2023-03-31 17:02:32 +08:00
    朋友搞了一套放公司,京东商家的套餐,40 核 intel 配 3 块 4090,内存多大忘记了,不到 10w
    felixlong
        12
    felixlong  
       2023-03-31 17:17:04 +08:00   ❤️ 3
    @hutoer 看这新闻,基于 LLaMA, 费用 300$, 效果 ChatGPT 的 90%.
    https://www.solidot.org/story?sid=74542
    Juszoe
        13
    Juszoe  
       2023-03-31 18:21:29 +08:00
    听起来只是想微调,买 OpenAI 的服务就行了 https://platform.openai.com/docs/guides/fine-tuning
    huigeer
        14
    huigeer  
       2023-03-31 18:58:48 +08:00
    直接用百度飞桨
    em70
        15
    em70  
       2023-03-31 19:51:43 +08:00
    只训练微调系统,7 分钱每小时的阿里云日本抢占式服务器+几十个 openai 账号就够了,每个月 1000 元不到
    winglight2016
        16
    winglight2016  
       2023-03-31 21:24:24 +08:00
    @hutoer 不是你说的这几个,是这两天刚开源的,我试了一下大概达到 70 、80%的 chatgpt 效果吧,如果自己针对性的训练一下我估计效果会更好
    lchynn
        17
    lchynn  
       2023-03-31 21:52:37 +08:00
    @huigeer 是文心一言吧? 但是 paddlepaddle 开源里面这个文心的大语言模型还没放出来啊
    lrigi
        18
    lrigi  
       2023-03-31 22:13:35 +08:00
    " nature 论文训练 gpt 产生摘要"
    这种事情 new bing 和 chatGPT 不是已经完全解决了吗?
    你都不用给他们内容,随便给个论文题目它们就可以说出论文是干嘛的,虽然有可能不准,但直接输入内容完全就可以产生摘要了呀
    BQsummer
        19
    BQsummer  
       2023-03-31 23:36:24 +08:00
    我刚想说 OpenAI 的 fine-tuning 也贵呀,https://openai.com/pricing ,$0.0004 / 1K tokens ,十万字中文大概 20w tokens ,训练只要 560 块钱?好像也不贵,用 LLaMA 之类的效果肯定没 OpenAI 好,就是后续使用费用 $0.0016 / 1K tokens ,如果带上下文,就贵了
    swulling
        20
    swulling  
       2023-03-31 23:38:58 +08:00
    如果是开源模型比如 LLaMA 或者 ChatGLM ,fine-tuning 大概是 8 张 A100 。

    但是这两个模型都不允许商用,你要先找到能商用的模型,然后再 fine-tuning 。
    swulling
        21
    swulling  
       2023-03-31 23:39:44 +08:00
    @Juszoe 别买,OpenAI 的微调不支持 gpt3.5/gpt4 ,只支持基础模型,没啥卵用
    king888
        22
    king888  
       2023-04-01 09:42:14 +08:00
    Colossal-AI: 让 AI 大模型更低成本、方便易用、高效扩展。这个开源的分布式 AI 训练组件库能极大的降低文本和图像训练的硬件成本,在消费级硬件上进行大模型训练。个人 AI 时代可能要加速到来了

    https://github.com/hpcaitech/ColossalAI
    rjks2011
        23
    rjks2011  
       2023-04-01 11:48:44 +08:00
    @3img 训练耗电量是否也非常惊人?
    aigonna
        24
    aigonna  
       2023-04-01 21:04:38 +08:00 via iPhone
    8 张 a100 gpu 加你的数据集 跑起来基本跑满。
    3img
        25
    3img  
       2023-04-03 14:06:00 +08:00
    转自推
    ================
    金融专用大模型:BloombergGPT
    500 亿参数,训练成本超过 1300 万,用 AWS64 台 8xA100 训练 53 天完成核心模型训练。
    主要实现问答、新闻头条编写、生成 BQL 等
    按青云相同配置价格粗略计算训练成本 1300W+
    然而不能用来炒股,希望做 AI 自动炒股的可以散了
    https://arxiv.org/pdf/2303.17564v1.pdf
    buyno1
        26
    buyno1  
       64 天前
    @huigeer github 里那些开源的能在飞浆部署运行吗,colab 实在不行,分分钟断
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5758 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 01:59 · PVG 09:59 · LAX 18:59 · JFK 21:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.