本地大模型：统一内存(UMA)和显存+内存(分层卸载), 统一内存 UMA 才是普通用户的未来！

[jinsongzhaocn]

UMA 统一内存，GPU 直接访问共享内存池，硬件层面消除显式拷贝，不用软件层手动搬数据。

独立显卡 VRAM + 系统内存分层卸载，模型权重、KV Cache 按需在显存和内存之间动态搬运。未来只会留在发烧友、工作站、专业推理场景

[LittleYangYang]

内存带宽实在是太低了

[yh7gdiaYW]

移动端很快就会变成这样，M 系列现在就是，但 PC 端搞成这样的话 DIY 就死透了
话又说回来，普通用户要本地大模型干啥？

[xtreme1]

UMA 是错的, 快慢层才是对的

[uni]

等着吧，我们在搞近存计算，明年给你看看什么才叫真正的未来

[hahiru]

@yh7gdiaYW 比如照片可以用本地视觉模型识别分类和向量化。上网的话隐私问题无法解决。

[AsukaShen]

@uni 且听龙吟！

[yh7gdiaYW]

@hahiru 0.74B 的 EmbeddingGemma 2 已经终结了这个场景

[jacketma]

上次看到一个视频分析，主要是考虑到散热和成本问题，CPU 日常消费者 ddr5/ddr6 多通道就足够了
GPU 对内存的性能要求高很多，然后散热和成本全上来了，全都变成了 HBM 普通人买不起啦

[strobber16]

感觉不如微内核

[levn]

Mac 如果能插 cuda 设备你不要吗？

[tcchen]

买了 ai max 395 128G ，坐等升值

[privater]

用脑子想一下：

飞机很快，但是人人都出勤靠飞机，可能不。

你觉得 UMA 好，不过是 Apple 靠着手机养活的供应链和制造节点反哺自己的 PC 平台，又遇到了大模型硬控内存容量。金子一样贵的苹果内存比较涨价后的显卡，计算卡突然显示出来那么一丁点性价比。但是你不能用 M5 Ultra 这种 4 个芯粒的怪物去说 UMA 实现 1.2G 带宽容易，更传统的 GPU 才是并行内存控制器的高手。

容量和速度，永远是天平的两端，你能做的只是端水，然后等时代的红利。

端得好，人家称你架构是天才；端的不好的，卖厂卖专利，整个组端掉的 Optane 就是前车之鉴

[biedoule]

@tcchen 多钱买的？

[sentinelK]

楼主这是怕手里的统一内存设备被 strata 冲烂，出来唱多吗 XDD

[ScforeverShawn]

@privater 那作为个人来说，要不要储备一点算力和内存呢？

[6AbK2rj2vLBD]

统一内存发展前途有限

[Sezxy]

集显能力弱的话，统一内存就是多余的

[noErr]

不是统一内存的问题，是内存带宽的问题。