想折腾一个 AI 主机，请行家出手

[davidyin]

打算自组一 AI 主机，用于本地 llm 。 可用于 kiro IDE 的，gitlab duo 。


可行性有多大，能否代替订阅的那些 ai 服务？

配置有没有推荐的，各 AI 行家请出手相助。

[qfdk]

看了明矾系列的 到现在没下手... 要不要等等 mac mini ？ 说不定有新科技？ 本来打算买 m4 ， 后来一拉配置，直接充 cc 了. 我 m1 跑 llm 吐字都不如我打的快... 也这里蹲一个吧

[qfdk]

看了明矾系列的 到现在没下手... 要不要等等 mac mini ？ 说不定有新科技？ 本来打算买 m4 ， 后来一拉配置，直接充 cc 了. 我 m1 跑 llm 吐字都不如我打的快... 也这里蹲一个吧

[yusf]

老老实实买用 api 吧

[davidyin]

@yusf
订阅很方便，只是有洁癖，不想自己的东西暴露到外面。

希望都在局域网内。

[yusf]

@davidyin https://www.bilibili.com/video/BV1zmSoBnEYM 看下这个 up 的本地部署体验

[davidyin]

@yusf

Mac 不考虑。基本没有用苹果的产品。
对于性价比敏感。

[davidyin]

现在有个初步的配置清单：
RTX 4070 SUPER 12GB
Intel i5 14600K
Asus TUF B760
DDR5 32GB(2*16gb)
SSD 1TBx2
看看合适吗？

[AastroLula]

还是考虑买 api 吧,当然实在有钱可以折腾玩玩,如果 op 是需要正式干活可能 anthropic 博客里提的用聪明的大模型指导小模型是个算是能用的方案,但是这块一来需要折腾很久,二来还是得买外面的 api. 我之前也是想搞本地大模型折腾玩玩,后来发现纯粹是垃圾佬的馋瘾上来了,再说现在啥都涨价的买了也是大冤种,如果 op 想买 aimax 395 算是个选择吧,当然有特殊需求部署几 b 模型能用上也是好事,12g 显存骗骗哥们还行,别把自己骗了,以上是我的一点想法

[devzhangyu]

可以看看这个项目 https://github.com/AlexsJones/llmfit

1. 找出你的硬件能运行哪些模型
2. 估算某个模型配置需要什么硬件
3. 硬件模拟，可查看哪些模型适合目标硬件

[ntedshen]

降价期间屯硬件，那 bro 你很勇哦（

4070s 有没有 4060ti 好使我不知道。。。
但是 14600k 和 d5 的意义在哪？

[Livid]

@davidyin 瓶颈是显存。

可以看一下 DGX Spark 系列的产品。

[davidyin]

@Livid
这个超出预算了。就我的使用情况，估计太大才小用了。


@AastroLula
订阅过 kiro 的那些模型。挺好用，只是不想把自己丑陋的代码上传上去，才想着全部在本地。
是啊，配件涨价太多。的确有些下不去手。


@ntedshen
Intel CPU 和 DDR5 是也不是一定，你有好的建议欢迎提出来。

@devzhangyu
谢谢推荐，我去看看。

[iango]

@davidyin 再等等，技术升级太快了。
看看这个：
https://github.com/antirez/ds4

128M Apple MBP 跑 DeepSeek V4 Flash

[viskem]

64G M4 MacMini 循环跑 DeepSeek V4 Pro 中，MLX 31B 27B 啥的放那一堆 都停用了。
是的，不如买个 AIR ，走到哪 Vibe 到哪……

[luodan]

就看显存大小，其它可以全部忽略。要么独立显卡，要么统一内存。

[davidyin]

@luodan
大显存重要，GPU 级别低一点，问题不大？

[gtchan13579]

Intel Arch B50 16G
铭瑄 H610I
Ultra 230F
DDR5 5600 16G*2
差不多就可以了

[MrLonely]

@davidyin 显存大小决定能不能跑，GPU 高低决定跑得快慢。

[zzutmebwd]

5 万以内无法替代 minimax deepseek-v4-flash 这种比较蠢的国产，20 万以内无法代替 glm 这种比较比较聪明的国产，无论花多少钱都无法达到 gpt5.5 和 opus4.7 这种顶尖的。
如果你的厌蠢症胜过受迫害妄想症，用订阅。

[bzw875]

除了为了学习本地训练 AI ，买大显存电脑用来推理的都不是划算。就和买 deepseek 一体机一样鸡肋