折腾了一晚上大模型，索然无味

[crocoBaby]

买的新显卡 5060 凑合能跑 7B 的推理大模型，发现有一个叫 LM STUDIO 的软件可以直接下载大模型并且运行推理，在尝试了各大厂开源的大模型，发现也就那样，没啥特别的使用场景，而且还不能联网搜索，你们玩 ai 大模型的到底都在玩啥啊？有点好奇

[OneLiteCore]

日常使用场景无非就是问技术思路/代码自动补全/翻译，个人用户的话有这个预算不如直接去买现成的 AI 服务一个月最多百来块。

只有到注重数据安全的企业级使用场景，比如要部署公司内部的代码补全或者 AI 问答服务这种需要避免公司资产和动向被当成免费语料的时候才需要。其他场景比如要生成视频和图片这种大规模的，或者 AI 女友之类的怕被赛博 NTR 的，但是这种 case 太少。

[urlk]

既然你都能本地部署 AI 了， 那么这个问题直接问 AI 它也会告诉你答案的

[HojiOShi]

5060 ，甚至都不是大显存的 5060ti ，打打游戏画质高点都爆显存，搞本地 LLM 这些还是太勉强。

[Q980q48Jgj6pRXoO]

搞了半天本地部署是能得到比 chatgpt5.1 更聪明的回复还是比 gemini3 更漂亮的前端

[coolfan]

5060 的显存规模跑大模型难有惊艳的效果 16g 的 5060ti 或许不错

[crocoBaby]

@OneLiteCore 我尝试了接入 trae ，发现并不支持本地部署的大模型，感觉有用的场景就是生成色图了，用小说的情节去生成

[slowgen]

5060 太丐了，全新也掩盖不了丐的事实，你这个就像“新买了一个 500MB 容量的托管虚拟主机然后部署了一个 WordPress ，玩了一下主题和插件之后索然无味”，能怪 WordPress 太弱吗？

[crocoBaby]

@urlk 甚至听不懂我的问题，虽然它罗列了很多它能干的事情

[crocoBaby]

@HojiOShi 实用的话感觉还是得直接买 nvdia 的 ai 计算机，我查阅了一下资料，消费级显卡满足不了大部份使用场景，除非是微调大模型针对语料推理

[crocoBaby]

@usn 都不行，很鸡肋，只能学习到大概的部署和使用方法，想要获得从业技能不太科学

[crocoBaby]

@coolfan 大概能跑 30b 的吧加上量化优化，但是距离现在主流上的还差太远了

[forisra]

7B 参数量的大模型本地部署的话就是已读乱回，当然没啥效果。

[crocoBaby]

@slowgen 对，你形容的很贴切，就是这个感觉，感觉想要入门 ai 开发，门槛挺高的

[crocoBaby]

@forisra 哥们都是玩的多少 b 的？完全没有思路有什么使用场景

[forisra]

@crocoBaby 本地部署按照现在的显存价格就没啥好方案啊，司马黄仁勋之前还专门出了一个推理特化的产品，一看价格 5070 的算力 4 万块的售价.....

[HojiOShi]

@crocoBaby #9 看来你查阅资料的能力不怎么样，能觉得英伟达那个小盒子实用，还因此否定所有消费级显卡。

[Q980q48Jgj6pRXoO]

@HojiOShi 好奇大佬是怎么搜集资料的

[Q980q48Jgj6pRXoO]

@crocoBaby #10 看个人

[bwnjnOEI]

建议不要用 LM STUDIO 或 OLLAMA 这些玩意，最起码会用 llama.cpp （虽然这俩都是基于 llama.cpp ），生产级部署都是 vllm 和 sglang 或自己写 cuda 。上 huggingface 下个 gpt-oss-20b 能凑合用，qwen-coder-7b 能代码补全，还有 DeepSeek-OCR 啥的能玩的挺多的，甚至内存 64g+你都能跑 gpt-oss-120b 但可能只有几 tokens/s 。

[crocoBaby]

@HojiOShi 没有深入了解，大佬科普一下