2 年以后的硬件和本地大模型

[workbest]

今年内存是大概率不会降价了

随着价格的刺激和产能的提升，以及对本地大模型的需求，2 年以后 256G 内存能否得到普及？

256G 内存，加上本地模型的发展，应该可以在本地运行一些非常不错的 coding 模型了

[kongkongyzt]

内存什么时候能回到 16G 只要 150 块钱的时候

[dmanbu]

？？？但凡你了解一下硬件市场，就该知道现在内存开始跳水了

[levn]

都用本地模型了，那企业高价买的那些内存显卡谁来使啊

[decade0q]

内存前几天都开始降了😓

[icyalala]

硬件提升，模型也在提升，最好的模型会越来越大
更何况云端部署能 Batch, 本地模型性价比会远差于供应商

[workbest]

如果 2 年后的本地大模型能达到今天的 opus 4.6 或者 gpt 5.4 的水平，我觉得已经足够了

[l1ve]

@dmanbu 16G 的从 1000 到 700 ，不算跳水吧，并且还叠加季度末回款的影响
----
存储芯片/CPU 这东西，产能固定，扩产周期长，现在 AI 对算力的需求可以说是指数级增加的，一年前大家用 ai 编程用了多少，现在又用了多少。等 agent 落地其他行业的时候算力需求更离谱
我记得一年前看到 vibe coding 的时候，我觉得这东西傻逼才会用
现在我只会觉得谁不用谁是傻逼
预计 3 年内都会维持高位了，哪怕 AI 模型再也不进步就保持目前的水平，需求都不会减少

[Gilfoyle26]

预言一波：其实和手机一样的发展路线，尽管每年都出新款，但是消费者已经无感了。

[workbest]

@kongkongyzt 如果回到这个价格，那大家买的新机器内存都会是 256G 起步

[june4]

苹果底端 8G 内存机是十几年前了吧，现在还是 8G,说明内存基本不会涨
甚至硬盘也不怎么涨，内存和存储不再象 20 几年前的定期翻倍涨了，我不觉得再过 5 年会变

[cjun]

云端的模型比本地模型更聪明，如果是省事，省时间，还是云端模型好吧

[xiaokanhongchen]

本地的不实际，但是大企业有可能会搭建

[ntedshen]

我台式机一直是拉满的，不谈
我的笔记本，
16 年我就在用 32+8 。。。
19 年我就在用 64+8 。。。
22 年我抱怨现在笔记本接口越来越少都装不下 128 了还有人骂我傻逼。。。
24 年 128 （ 64x2 ）的条子价格平了，我没买，其实现在挺后悔的
而市售机器今年才刚开始普及 32g 。。。

所以，
> 2 年以后 256G 内存能否得到普及？
我感觉你得加个 0 。。。

[940i3s34v4F1HW41]

何意味

[zerovoid]

除非本地部署的成本，低于云服务的成本很多，不然为什么我不用云服务呢，
大部分人都懒得自己折腾，如果价格差不多的话。

[Very0ldMan]

chatGPT3.5 的时候，我就在想，如果以后开源的大模型能够有 3.5 的智力就好了。结果没想到现在 14B 的大模型已经超过 3.5 了😂😂

[forisra]

@kongkongyzt 这个很难了，因为当时内存存储价格低本身也是当然上游厂商对行情误判，产能过剩结果就导致了历史性的低价。

未来就算价格崩了，我估计也很难崩到这个水平。毕竟按照正常的通胀率一年 2%-3%，十年通胀也有 30%了。

[eastcukt]

端到端的小模型感觉是未来趋势，有基础智商配合 agent 作为私人助手完全够了。如果后期 memory 层能作用小模型进行微调就更是没必要全知大模型。

[laminux29]

256G 内存，加上本地模型的发展，应该可以在本地运行一些非常不错的 coding 模型了
===============

这是严重的错误判断。

现阶段，各大 Coding 模型，别说架构师了，连高级程序员的层次，都没法在每次 chat 中达到，而且还经常输出一些虽然能 work 但可维护性极差的代码。这个问题的根源还在于训练的数据、推理的算力与推理空间不足导致的，而这一切的训练与推理阶段，又都依赖超大内存，256GB 只是冰山一角，远远不够。

[unusualcat]

内存大没用啊，除非是统一内存。