怎样部署 ai 大模型然后训练他

6 天前
 eedh

本地电脑,用数据库训练

1779 次点击
所在节点    Local LLM
15 条回复
mixuxin
6 天前
你说的可能是微调?
qwzhang01
6 天前
lamafactory 训练
vllm 部署
dlmy
6 天前
你是认真的吗?

我在本地电脑上用 ollama 部署了 deepseek-r1:7b ,就是个反应迟钝的玩具
qwzhang01
6 天前
我看了下内容,如果按照微调思路回答的话:
1. 本地电脑要看什么显卡,显卡对应的 Python 版本、coda 版本等等环境还是比较麻烦的,如果是实验可以按小时组一些 GPU 试试,环境最好现成的。
2. 数据库训练,也就是使用自己数据库里面的数据,这个要根据你训练的模型以及使用的框架构建数据,可能要对数据库做下转换,不过这个也简单,直接让大模型出代码就行

目前只能回答这些了
PandaIsGood
6 天前
自己部署跑着玩可以弄个 lm studio ,mac 这种统一内存就比较方便
CEBBCAT
6 天前
之前听过一些厂商来宣讲,主要讲的就是怎么用他们的云服务来便利地微调,忘记是哪家了,楼主可以了解下(但个人不爱阿里)

---
@dlmy #3 不可以翻译吗?我现在用的沉浸式翻译是 glm 4 9b chat 模型,我看效果还行,比肩内置 Google 翻译水平了
gaobh
6 天前
你再说啥,本地就部署一套 dify 调 api 玩玩就行了
tcper
6 天前
一个非常大的疑问就是,你训练出来的模型如果比市面上的都差,怎么办?
cheng6563
6 天前
训练个屁,个 7b 模型本来就弱智,再训练赛点东西进去更弱智了。
richarddingcn
6 天前
你数据库数据是想 rag 还是真要训练
qiancheng
6 天前
真想弄就去闲鱼找个人帮忙,花不了多少钱 甚至都不需要 GPU
BlueSkyXN
5 天前
你有这钞能力吗,存疑
msg7086
5 天前
之前有个小姐姐想给男友训练个自己口吻的聊天模型,在谷歌上基于现有模型跑了个简单的微调,第二天收到了 11 万人民币的账单。
Pi10t
5 天前
@msg7086 那个好像不是小姐姐,而是一个男生给他的男朋友训练的
2020diyige
5 天前
大模型训练,个人那点硬件不够用啊,,太贵了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1156867

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX