嗯,LLaMA 的 300 亿模型效果,感觉比 70 亿模型聪明了一点.

2023-03-12 15:19:51 +08:00
 xialer
感觉能够理解一点儿东西了



4bit 模型内存占用也很香.
本来双卡不一定行,
现在单卡有富裕.

3365 次点击
所在节点    分享发现
5 条回复
tool2d
2023-03-12 18:16:30 +08:00
我也试了一下 4bit 量化模型，效果很差。
ltkun
2023-03-12 20:33:37 +08:00
24g 的是什么卡
longbye0
2023-03-12 21:24:39 +08:00
@ltkun 应该 3090/ti ，geforce ，加上可以用 cuda11.7 ，就是 30 系了
kernelpanic
2023-03-12 23:05:43 +08:00
咋跑起来的，我用的 llama.cpp 好像不支持中文。。。
OLDPAN
2023-03-13 18:39:53 +08:00
测试了下 llama 能不能写代码： https://mp.weixin.qq.com/s/HGxEhDMQoVa1pkz76Qp6Yw

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/923374

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX