1
qiayue 2023-03-31 15:09:08 +08:00
稍微打击一下,百度这么有钱,也有很强的技术,短时间都搞不定。你们公司完全没这方面经验想要搞定,很难。
|
2
3img 2023-03-31 15:10:11 +08:00
A100 80G 一张十万
|
3
vsitebon 2023-03-31 15:15:15 +08:00
完全自己从零开始训练 GPT
硬件:NVIDIA Tesla A100 40G 售 72000 元(单张),按千来算数量; 其它服务器等成本; 软件:至少三人以上团队开发界面;至少五人以上做深度学习团队; 假设你软硬件都自己来,那估计成本不下亿 |
4
lchynn 2023-03-31 15:31:12 +08:00
中小型公司,还是直接考虑 OPENAI PLUS 吧。 一块 A100 或者 H100 的价格, 估计能用上 1 年的 GPT 4 API 了。
|
5
hutoer 2023-03-31 15:37:28 +08:00
为啥要 A100 、H100 ,A6000 有 48G 显存,才 2.6 万 1 张,也是可以搞搞
|
7
sadfQED2 2023-03-31 15:49:41 +08:00 via Android
调用 openai 接口?参考最近 csdn 那个,基本上一个人就能搞定,月薪两万吧。服务器阿里云乞丐版,200 一个月吧
|
8
winglight2016 2023-03-31 16:15:21 +08:00
现在已经有开源的 llm 版本了,不用 openai 也可以,我可以给你们出方案,硬件能控制在 20w 以内,软件可以忽略,人工的话,初期的话,一个月 10w ,验证通过后的商业化大概 20w 。
这是我能想到最省钱的方案了。 |
9
hutoer 2023-03-31 16:27:46 +08:00
@winglight2016 你说的是 OpenChatKit 、LLaMA 、alpaca 这种吧?貌似效果并不好。硬件的话 8 张 A6000 差不多 20W 。即便是拿开源 LLM 微调,想要好的效果,人力的成本也是很大的。
|
11
zsj1029 2023-03-31 17:02:32 +08:00
朋友搞了一套放公司,京东商家的套餐,40 核 intel 配 3 块 4090,内存多大忘记了,不到 10w
|
12
felixlong 2023-03-31 17:17:04 +08:00 3
|
13
Juszoe 2023-03-31 18:21:29 +08:00
听起来只是想微调,买 OpenAI 的服务就行了 https://platform.openai.com/docs/guides/fine-tuning
|
14
huigeer 2023-03-31 18:58:48 +08:00
直接用百度飞桨
|
15
em70 2023-03-31 19:51:43 +08:00
只训练微调系统,7 分钱每小时的阿里云日本抢占式服务器+几十个 openai 账号就够了,每个月 1000 元不到
|
16
winglight2016 2023-03-31 21:24:24 +08:00
@hutoer 不是你说的这几个,是这两天刚开源的,我试了一下大概达到 70 、80%的 chatgpt 效果吧,如果自己针对性的训练一下我估计效果会更好
|
18
lrigi 2023-03-31 22:13:35 +08:00
" nature 论文训练 gpt 产生摘要"
这种事情 new bing 和 chatGPT 不是已经完全解决了吗? 你都不用给他们内容,随便给个论文题目它们就可以说出论文是干嘛的,虽然有可能不准,但直接输入内容完全就可以产生摘要了呀 |
19
BQsummer 2023-03-31 23:36:24 +08:00
我刚想说 OpenAI 的 fine-tuning 也贵呀,https://openai.com/pricing ,$0.0004 / 1K tokens ,十万字中文大概 20w tokens ,训练只要 560 块钱?好像也不贵,用 LLaMA 之类的效果肯定没 OpenAI 好,就是后续使用费用 $0.0016 / 1K tokens ,如果带上下文,就贵了
|
20
swulling 2023-03-31 23:38:58 +08:00
如果是开源模型比如 LLaMA 或者 ChatGLM ,fine-tuning 大概是 8 张 A100 。
但是这两个模型都不允许商用,你要先找到能商用的模型,然后再 fine-tuning 。 |
22
king888 2023-04-01 09:42:14 +08:00
Colossal-AI: 让 AI 大模型更低成本、方便易用、高效扩展。这个开源的分布式 AI 训练组件库能极大的降低文本和图像训练的硬件成本,在消费级硬件上进行大模型训练。个人 AI 时代可能要加速到来了
https://github.com/hpcaitech/ColossalAI |
24
aigonna 2023-04-01 21:04:38 +08:00 via iPhone
8 张 a100 gpu 加你的数据集 跑起来基本跑满。
|
25
3img 2023-04-03 14:06:00 +08:00
转自推
================ 金融专用大模型:BloombergGPT 500 亿参数,训练成本超过 1300 万,用 AWS64 台 8xA100 训练 53 天完成核心模型训练。 主要实现问答、新闻头条编写、生成 BQL 等 按青云相同配置价格粗略计算训练成本 1300W+ 然而不能用来炒股,希望做 AI 自动炒股的可以散了 https://arxiv.org/pdf/2303.17564v1.pdf |