有没有可以笔记本部署比较不错的代码模型

[vverr]

背景是，我们 AI 开发产品，但是到客户现场部署硬件都在人家的无法访问互联网的环境，因为是 AI 写的代码，人在现场排查比较困难，但是可以拿笔记本和那个设备直连。所以想，本地的模型只要能支持看笔记本的代码，以及去环境帮助定位分析问题即可。

现在本地比较强的模型，是哪个呢

[drealism]

背个那个啥 spark 进去

[evan1]

要根据自己电脑的配置去选能用的模型。

手机热点也不能用吗

[vverr]

@drealism spark 是啥 0.0
@evan1 是的，那台笔记本不能插优盘和访问互联网

[marcong95]

@vverr RTX Spark ，或者顶配 MacBook Pro

[sentinelK]

所以你不能插优盘，你模型哪来呢？

[kimhooo]

https://github.com/AlexsJones/llmfit

[paopjian]

如果你们都到了现场部署才想起来要离线部署, 那先把开发和实施抽一顿吧, 其他事之后再说
顶级自部署模型就是 qwen 3.8 27b 和 deepseek flash v4.1 , 而这也需要大显存 GPU 和高内存, 你们得背着至少 10 万的笔记本去现场才满足速度. 要不然就人力去 debug 吧

[Haku]

rtx spark ，可以跑一个量化的 qwen3.8 flash next ，大概 20-40token/s,上下文 128K

[ntedshen]

你这是连个配置都不会看。。。
我建议你加钱买能工智人。。。

[dnfQzjPBXtWmML]

硬件要求最低的就是 strata+qwen 了吧，大内存+N 卡就能凑合跑起来

[vverr]

@sentinelK 得光盘弄进去
@dnfQzjPBXtWmML 那看来还是 qwen ，一年前也是部署到 qwen ，看来还是这个比较稳，到时候我们试试
@paopjian 对，我也没说清楚，部署不会有啥问题，都是自研的系统直接安装进去的；使用期间会有一些问题，之前都是是人来定位和排查。现在 AI 写代码，人排查费劲了。考虑 qwen 了，27b 估计跑不起来。

[qiuhang]

普通笔记本的话，试试 JetBrains/Mellum2.1-12B ？

[tcchen]

ai max 495 192g 试试

[YanSeven]

招聘一个有能力专门负责驻场事务的高级开发。

[davidoff567]

@vverr 他说的应该是 dgx spark,一般部署的话是 2 台起步，9w 左右能部署 MOE 架构模型

[byteharbork2]

不行啊 ，感觉要生产力还是得上 qwen 27B ，moe 的话 120B 左右的吧，笔记本没啥性价比啊

[ezioswj]

https://blog.csdn.net/wj305585378/article/details/161239686?spm=1001.2014.3001.5502

看下我的，只要 6-8g 显存就可以跑。我是 USB4 外接的，你们游戏本应该比我这个快多了。