Ollama 运行 Llama2 大模型,怎么友好的支持中文

53 天前
 huhailong1121

大家在本地通过 ollama 运行 Llama2 大模型的时候如何友好的支持中文呢?我运行的时候默认都是英文回答,然后我用英文问它如何切换为中文它告诉我使用 llama2 -lang zh-CN 但是我在交互式里面执行该指令后并没有效果,回答的时候还是英文,大家是怎么设置的呢?除了在问题前表明用中文回答这种方式

1762 次点击
所在节点    北京
12 条回复
waityan
53 天前
ollama run yi
idblife
53 天前
同问,qwen 和 yi 感觉和 mistral 差不少呢
paopjian
53 天前
llama2 没有用中文微调,虽然会说中文,但是回答肯定是英文优先,你找找有没有微调后的模型
leesin8848
53 天前
op 用什么配置的机器跑的
vacuitym
53 天前
ollama 上有个 llama2-chinese
kaoshuiwan
53 天前
llama2 对于中文支持就是不好(包括词表中缺少中文 tokens 、语料少),可以换个模型试试。
huhailong1121
53 天前
@leesin8848 我就是用一台笔记本,Thinkpad-P15v ,内存 16G ,我下载了 7B 版本的 llama2 测试,英文的表现还行。准备后面组一个机子试试
huhailong1121
53 天前
@vacuitym 嗯嗯,我试试
uniqueman
53 天前
@huhailong1121 cpu 占用率怎么样的?一直在后台跑着吗
unclemcz
53 天前
@uniqueman 纯 cpu 跑的话占用率接近 100%,只有执行的时候会这样,ollama 会一直在后台,基本无感,只有跑模型的时候会 100%这样子。
huhailong1121
53 天前
@uniqueman 我是在做测试,通过 ollama 的 API 接口调试前端,我自笔记本的话一开始还行,简单的问题响应速度可以接受,但是稍微复杂的问题就耗时间了,而且风扇呼呼的,如果是测试我觉得自己电脑就行,如果真要长时间用 serve 模式运行的话还是组装一台高配置的
huhailong1121
53 天前
@unclemcz 嗯嗯,是的,默认开机它就自己后台运行着,但是基本不消耗资源,我电脑除了 CPU 我看 GPU 占用也挺高,估计也用到了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1025276

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX