分享一下自己训练的大模型

[Azure99]

半年前出于兴趣开始整自己的大模型，对目前的版本还算满意。

主要基于 Qwen 、Yi 、Llama 这些不错的预训练模型做对齐，某些场景的效果甚至比官方的 Chat 对齐效果更好。

另外，训练数据也一并开源，方便大家用于复现和研究使用。

---

在线 Demo： https://blossom-chat.com/

GitHub： https://github.com/Azure99/BlossomLM

介绍： https://www.rainng.com/blossom-llm/

模型权重 / 训练数据

---

如果你想在本地部署，可以用Ollama一键启动。默认是 9B 4Bit 量化后的模型，速度和质量都不错，CPU 也跑得动。

ollama run azure99/blossom-v5

附上两个喜闻乐见的 ruozhiba 示例

Q: 鲁迅为什么要打周树人？
A: 您的问题似乎包含了一个误解。鲁迅和周树人是同一个人。鲁迅是他的笔名，而周树人是他的原名。鲁迅是中国现代文学的著名作家和思想家，以其深刻的批判性和对社会现象的洞察力而著称。他并没有“打”周树人，因为这是同一个人。
如果您有关于鲁迅或周树人的其他问题，比如他的作品、生平或者对中国文学的影响，我可以提供帮助。

Q: 小明有 10 个苹果，他洗了 3 个后，他一共有几个苹果
A: 小明原来有 10 个苹果。当他洗了 3 个苹果之后，这 3 个苹果仍然是属于他的。所以，即使他把这 3 个苹果洗干净了，总数仍然保持不变。因此，小明一共有 10 个苹果。

[flcwk]

学习一下，最好出个零基础教程

[ljx626]

@Azure99 👍🏻，大佬训练下来花费多少呀？

[Azure99]

@ljx626 算上造数据、实验、训练，大概几千吧。数据和实验是大头，如果只用开源数据集做 SFT 且数据量不大的话，花费很少

[mybro]

👍

[1314258]

@Azure99 联网搜索 怎么做到的?

[Azure99]

@1314258 很传统的 RAG ，query 改写，搜索，拼 prompt 一条龙

[haobo]

不错，可以讨论一下

[N6D6j6ko0VGTXkGg]

@BeijingBaby 我 CPU 都烧了


[Azure99]

@japhetJiu 第一个问题已经回复过了
对于第二个问题，因为硬件资源的限制，这个 demo 是 4bit 量化后的，精度下降比较严重。
可以用 HF 上的 demo https://huggingface.co/spaces/Azure99/Blossom-34B-Demo ，不量化太狠是非常容易解决这个问题的。
https://imgur.com/qDdfX18

[N6D6j6ko0VGTXkGg]

大佬，我这几天也在学习训练模型

根据网上教程采用的是 KoboldCPP + HF 上面下载的模型 + AnythingLLM ，本地部署起来了，在 AnythingLLM 进行操作，但是我看了这种方式是搭建本地知识库

压根不是一个东西 （我哭死~~~）

大佬可以出一期详细教学视频吗？你的各大站点我都关注了， 期待回复

[Azure99]

@japhetJiu 你说的这些主要是用于部署推理服务，并通过 RAG 框架调用。KoboldCPP （推理框架）、HF 的模型（模型权重 通常是对齐后的模型，一般带有 Chat 或者 Instruct 字眼）、AnythingLLM （ RAG 框架）。

如果希望训练自己的模型（假设你是做微调，就是让预训练模型从只会续写文本变得"会说人话"），应该找一个训练框架，比如 ms swift 、llama factory 、xtuner ；再去 HF 下载预训练模型（没有经过对齐的 通常带有 Base 字眼，或者没有 Chat 等字眼）；并且找一些数据集进行微调。上面列举的框架基本都有简单教程和数据集，当然如果你愿意用我的数据集，那就更好了。

[neilxu]

给大佬发邮件了(sky8neil ），希望可以得到大佬回复，感谢！
多想到一个问题，您 hf 介绍“本数据集抽取了 ShareGPT 的多轮对话指令，仅将指令进行翻译”，想请教用什么工具翻译指令的？

[XepMCWEKZ76L695l]

没法翻墙，如何下载 https://huggingface.co/Azure99/blossom-v5.1-9b

[ibox163]

data: {"msg":"estimation","event_id":"fba32e0002fb4497ab3d52249048b070","rank":0,"queue_size":1,"rank_eta":35.58052321854565}