有人在本地跑模型吗？

[lihuashan]

我最近在学习 AI ，想本地搭建调试。我前段时间刚买了一台二手 m3max 128G 内存 1T 硬盘，不知道行不行？

[lihuashan]

英伟达 9 越左右要出新机器：NVIDIA DGX Spark ，https://www.nvidia.cn/products/workstations/dgx-spark/

2 万多元，感觉可以买？

[xou130]

如果只是调试，可以用小模型，比如 7b ，0.7b 规模，CPU 强行跑也行

[lihuashan]

@xou130 只是调试学习，后续可以从事 ai 相关的开发工作，我是 java 后端开发。7b 是不是太小了？

[maximdx]

只是跑模型的话肯定没啥问题

[xou130]

@lihuashan 7B 够大了，实在要用大的模型可以 api

[lihuashan]

@xou130 嗯，7b 或者 13b 好像是支持的，后续搞起来