自研 AI 需要多大资源?

2024 年 12 月 18 日
 mingtdlb

我司在讨论 AI ,又是提效、又是赋能的。应该还是探索阶段,做一些有公司特性的应用,集成到卖的产品中、客服系统改造之类的。

我局外人,纯好奇,对这方面没什么认识,想来问问各位大佬。

如果自研 AI 需要多少资源,硬件、人员...?

如果调接口的话,是不是 简单点 成本也低?训练完,提供服务时是不是跟接口就没关系了?

2408 次点击
所在节点    问与答
21 条回复
murmur
2024 年 12 月 18 日
没个几百万别折腾了,最后折腾来折腾去也就是本地部署个画画或者聊天机器人要么就是知识库

而且国内 AI 正确性比能力更高,你在牛逼的 AI 说错话也要被敲打
lerosua
2024 年 12 月 18 日
几百万下去一个浪花都没有,想啥呢,自研 AI 这么大口气
dapang1221
2024 年 12 月 18 日
啥叫自研 ai ,根据业务写 prompt 然后调豆包的接口也叫自研,部署个开源的 chatGLM+向量数据库也叫自研,抱抱脸上找个底模然后自己喂业务数据二次训练也叫自研,找几个炼丹师啃论文自己标注数据从头炼也叫自研……
Liftman
2024 年 12 月 18 日
微软 1363-1635 亿
谷歌 1817-2726 亿
Meta 1000-1181 亿
名马逊 454-727 亿
X 181 亿

根据统计。今年为止这五家花了大概这么多。你感受下。而且明年要喊都要继续翻倍显卡。
x86
2024 年 12 月 18 日
几百万一个月发工资差不多
huluhulu
2024 年 12 月 18 日
自研?大的那几家模型训练一次平均成本(主要是电费) 0.5 亿-1 亿。
你们难道认为微调算自研吗?
liuliuliuliu
2024 年 12 月 18 日
不错的数据,请问数据来源有吗?
qiniu2025
2024 年 12 月 18 日
2025 了还想从 0 到 1 做大模型? 市场已经开始洗牌了,根本不需要那么多模型,国内做大模型的公司很多都转型做应用了
sagaxu
2024 年 12 月 18 日
自研 AI ❌

开源模型/SAAS + 喂入特定材料 ✅
mayli
2024 年 12 月 19 日
自研是啥?

你这问题直接问 llm 就完事, 属于简单难度问题。看了下这几个方面基本上你们一个也没有。

计算资源:
- 训练大型 AI 模型通常需要数百到数千个 GPU/TPU,持续时间从数周到数月不等
- 对于较小规模的模型,至少需要几十个 GPU 进行分布式训练
- 需要高性能计算集群和存储系统的支持

数据资源:
- 高质量的训练数据至关重要,规模从几 TB 到数百 TB 不等
- 需要专业团队进行数据收集、清洗、标注等工作
- 特定领域的数据获取可能面临难度

人才资源:
- 核心研发团队需要机器学习、算法、系统等专业人才
- 工程团队负责训练框架、分布式系统等基础设施
- 领域专家提供行业知识和应用场景指导

资金投入:
- 硬件设施投入可能达到数千万到数亿
- 人力成本每年至少数百万到上千万
- 还需要考虑数据采购、计算资源租用等费用
mU9vX912XopmAoE1
2024 年 12 月 19 日
@Liftman 马斯克才投了这么点钱? 他的 10 万张 H100 的 Colossus 集群 这么便宜吗?
walkbox
2024 年 12 月 19 日
看到提效 赋能这 2 词就想到了各种骗国家补助的各种机构, 这公司是要拿歪果的现成 gpt 套壳号称自研了吧
bk201
2024 年 12 月 19 日
你们的自研顶多就是应用层面的自研吧。
kinghly
2024 年 12 月 19 日
国内哪有什么自研,还不都是开源扒下魔改。要么就是微调后 API 调用封装。
zuotun
2024 年 12 月 19 日
重新定义自研,不说别的,硬件成本愿意投入多少?上面也说了有十万 H100 的集群而且这个还不是最大的。
Yanlongli
2024 年 12 月 19 日
国内小公司所谓的自研无非就是拿通用开源项目改改然后本地部署,不想给其它公司的 AI 产品付费,实际折腾的费用要高出付费好几倍还不咋能用。
jettzhang
2024 年 12 月 19 日
不是,阿珍,你来真的啊?
unco020511
2024 年 12 月 19 日
你这些都不需要自研大模型,做应用层开发就行了
mingtdlb
2024 年 12 月 19 日
@dapang1221 按国内公司的尿性,开源的拿来改 logo 宣传的时候也算自研,我是鄙视这种行为的,但大环境就这样,评论区很多兄弟也提了。
@x86 听说字节从阿里挖过去那个好像 8 位数年薪
@unco020511 只是借这个 好奇问下。我这小破公司肯定调接口的,正文说了,应该是搞一些应用层的东西。

帖子的目的还是想认识一下这方面,我只知道用😂
akriafly01
2024 年 12 月 19 日
别瞎折腾了。AI 这事和中国基本无缘份了
现在互联网上都什么垃圾内容,加上各种审核限制,说错几句话分分钟教你做人
屏蔽关键字之后,还要重新组织 ai 的内容,最后发现还不如搞几个人看呢
真想搞 AI 的噱头,直接买 API 是最快和见效的方式。
当然可以在 prompt 上搞点微创新或者结合几个 api 工具

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1098559

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX