5060ti16g 跑 Qwen-32B

2025 年 12 月 12 日
 mdcaqr
推理速度有多快？御三家云 Ai 够满足我的一般需求，就是想自己玩玩？
2138 次点击
所在节点    Local LLM
5 条回复
defaw
2025 年 12 月 12 日
32b q4km 再加上 32k 上下文都得 32g 吧，16g 怎么跑
jhytxy
2025 年 12 月 12 日
16g 跑不了
wwhc
2025 年 12 月 13 日
试试 gpt-oss-20b ，推理速度很快，16G 的显卡就能装入完整的 128k 上下文长度
mdcaqr
2025 年 12 月 14 日
@wwhc 好的
adbseell3
3 月 19 日
@wwhc 能越狱么， 我看 Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive 这款可以😅

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1178612

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX