搭建一套中小型的深度学习平台，大概多钱？

[Sekai]

包括硬件和请专业人员的费用。能够喂大量语料，训练后按要求产出相关文字，类似用 nature 论文训练 gpt 产生摘要这种。非个人，公司用，以后可能商业化。

[qiayue]

稍微打击一下，百度这么有钱，也有很强的技术，短时间都搞不定。你们公司完全没这方面经验想要搞定，很难。

[3img]

A100 80G 一张十万

[vsitebon]

完全自己从零开始训练 GPT
硬件：NVIDIA Tesla A100 40G 售 72000 元（单张），按千来算数量；
其它服务器等成本；

软件：至少三人以上团队开发界面；至少五人以上做深度学习团队；

假设你软硬件都自己来，那估计成本不下亿

[lchynn]

中小型公司，还是直接考虑 OPENAI PLUS 吧。 一块 A100 或者 H100 的价格， 估计能用上 1 年的 GPT 4 API 了。

[hutoer]

为啥要 A100 、H100 ，A6000 有 48G 显存，才 2.6 万 1 张，也是可以搞搞

[Sekai]

@qiayue 我可能没描述清楚，其实就是用 openai 提供的服务来训练自己的问答机器人，不是造轮子啊

[sadfQED2]

调用 openai 接口？参考最近 csdn 那个，基本上一个人就能搞定，月薪两万吧。服务器阿里云乞丐版，200 一个月吧

[winglight2016]

现在已经有开源的 llm 版本了，不用 openai 也可以，我可以给你们出方案，硬件能控制在 20w 以内，软件可以忽略，人工的话，初期的话，一个月 10w ，验证通过后的商业化大概 20w 。

这是我能想到最省钱的方案了。

[hutoer]

@winglight2016 你说的是 OpenChatKit 、LLaMA 、alpaca 这种吧？貌似效果并不好。硬件的话 8 张 A6000 差不多 20W 。即便是拿开源 LLM 微调，想要好的效果，人力的成本也是很大的。

[qiayue]

@Sekai 如果你是想用 openai 提供的服务来训练自己的问答机器人的话，看下面：

[zsj1029]

朋友搞了一套放公司，京东商家的套餐，40 核 intel 配 3 块 4090,内存多大忘记了，不到 10w

[felixlong]

@hutoer 看这新闻，基于 LLaMA, 费用 300$, 效果 ChatGPT 的 90%.
https://www.solidot.org/story?sid=74542

[Juszoe]

听起来只是想微调，买 OpenAI 的服务就行了 https://platform.openai.com/docs/guides/fine-tuning

[huigeer]

直接用百度飞桨

[em70]

只训练微调系统,7 分钱每小时的阿里云日本抢占式服务器+几十个 openai 账号就够了,每个月 1000 元不到

[winglight2016]

@hutoer 不是你说的这几个，是这两天刚开源的，我试了一下大概达到 70 、80%的 chatgpt 效果吧，如果自己针对性的训练一下我估计效果会更好

[lchynn]

@huigeer 是文心一言吧？ 但是 paddlepaddle 开源里面这个文心的大语言模型还没放出来啊

[lrigi]

" nature 论文训练 gpt 产生摘要"
这种事情 new bing 和 chatGPT 不是已经完全解决了吗？
你都不用给他们内容，随便给个论文题目它们就可以说出论文是干嘛的，虽然有可能不准，但直接输入内容完全就可以产生摘要了呀

[BQsummer]

我刚想说 OpenAI 的 fine-tuning 也贵呀，https://openai.com/pricing ，$0.0004 / 1K tokens ，十万字中文大概 20w tokens ，训练只要 560 块钱？好像也不贵，用 LLaMA 之类的效果肯定没 OpenAI 好，就是后续使用费用 $0.0016 / 1K tokens ，如果带上下文，就贵了

[swulling]

如果是开源模型比如 LLaMA 或者 ChatGLM ，fine-tuning 大概是 8 张 A100 。

但是这两个模型都不允许商用，你要先找到能商用的模型，然后再 fine-tuning 。