[技术干货分享] 从双路 4090 到 8GB 老 Mac，我的 LLM 部署折腾日记

[unmayx]

分享一篇最近写的 LLM 部署与应用经历，涵盖了：

🚀 硬件升级：从单卡 4090 48G 到双卡配置，为了跑 GPT-OSS 120B 专门组了 TRX40+TR 3960X 平台（虽然被 AI 坑了买贵了😅）

⚡ 框架对比：从 Ollama 转向 vLLM ，双卡张量并行实测接近 190 TPS ，生产级框架确实强

🧠 模型实测：

• OpenAI GPT-OSS 120B：开源上游水平，速度与效果兼具
• DeepSeek 1M 上下文：直接上传整个博客 search.json ，简历生成、人格分析、代码重构全搞定
• LFM2.5-1.2B-Thinking：8GB 内存 MacBook 也能 60+ TPS 运行，12 亿参数带思维链，算法进步惊人

💡 感悟：AI 软件优化潜力巨大，有限硬件也能期待无限智能

原文详细记录了配置踩坑、性能数据和实际应用体验，对 LLM 部署感兴趣的朋友欢迎交流讨论！

https://mabbs.github.io/2026/03/01/llm3.html

[OctopusGO]

膜拜大佬