关于在 Windows 端本地微调 Qwen 模型

152 天前
 NianBroken

在网上搜了 3 天了,对于如何在本地 运行模型 的教程很多,基本都是保姆级的很详细的教程,我看了一遍就运行起来了。

但是对于如何在 Windows 端本地 微调模型 的教程,却都很复杂。我连着搜了 3 天的微调教程,每天基本上有 6 个小数都在浏览器前面,还是看不明白。

目前我电脑上有 本地模型文件数据集的 json 文件

我有Ollama 格式、gguf 格式、.safetensors 格式,这三种格式的模型。 也有一问一答的 json 数据集,一共有五百条,例如:

{"instruction":"你是谁?","input":"","output":"我是 ChatGPT 。"}
{"instruction":"我是谁?","input":"","output":"你是向我提问的人。"}

那么我该如何用这一个 json 数据集,在 Windows 端本地微调我的模型并生成一个新的模型文件?

求推荐保姆一点的教程,就是告诉我第一步应该做什么,然后第二步应该做什么的那种教程。

2078 次点击
所在节点    程序员
6 条回复
Fdyo
152 天前
Qwen 不是在阿里云上有在线调试的窗口吗?你看看?
NianBroken
152 天前
@Fdyo 阿里云百炼在线调试的窗口好像没办法下载模型吧?
Fdyo
152 天前
@NianBroken 确实没法下载,抱歉,我略过了本地的需求(但不确定本地的和在线的模型是否在微调结果上能保持一致?)
frankyzf
152 天前
https://github.com/hiyouga/LLaMA-Factory 可以尝试按 readme 试下,加下微信群,遇到问题在群里问
diroverflow
151 天前
本地微调需要什么硬件?怎么有人说一张 4090 都不行啊
panda1001
150 天前

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1123436

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX