想做个调研，看看国产 AI 芯片到什么程度了

[pigpigxia]

• 昇腾、思元之类的在训练和推理领域效果怎么样
• 看昨天路透的意思，国内几家大厂一直抱怨成本高？是本身定价贵还是故障或者调试维护、配套工具完善的成本高？
• 政策上大炼芯片是好是坏，有从业的老哥能给点专业意见吗？
• 想听听大家对国产 AI 芯片的看法

[wanghui22718]

3. 能效与成本
功耗
昇腾 384：总功耗 559kW （液冷 PUE 1.1 ），单位算力能耗 0.54 TFLOPS/W
8 卡 H100：总功耗约 5.6kW （单卡 700W ），单位算力能耗 1.24 TFLOPS/W ，能效比显著领先
成本
昇腾 384：单价约 820 万美元，国产化政策支持降低长期供应链风险
8 卡 H100：硬件成本约 30-40 万美元，但受出口限制影响（如中国需采购阉割版 H20 ）

[andyskaura]

@wanghui22718 你太歪了吧。要比也是 npu 之间对比

[snow0]

@wanghui22718 不是已经不允许买英伟达的卡了吗

[catazshadow]

半吊子

[Cu635]

生态问题和文档问题还没解决。

更重要的是，文档不开放，还是封建人身依附（法人也算“人”身）那套封建思想，把普通开发者当贼来防。

[Meteora626]

推理各家算力都差不多，难的是功耗控制，训练像阿里用自己的卡训练，内部信息谁知道。而且抱怨成本高也不是国内大厂才抱怨，看看 llama 的论文，n 卡集群 nan 一次就是几万几十万的成本，万卡考验的不光是卡，更是集群。

[xeonforce]

拉，昇腾的设计其实面向的是十年前的上一代 ai （视频图像处理那类），大模型的本代 ai 只是凑巧可以跑，很多地方受限。
年初 ai 潮测过推理，性能差，支持的模型及其有限，社区支持差，很多内容只给合作伙伴级别的提供。
训练段端有个未经证实的国外源消息，deepseek 缺卡想转昇腾，华子驻场支撑都搞不定。
另外国内外都已证实的是，昇腾目前一直还是台积电代工，包括流出的下一代，自主能力 emmm 你懂的。而且自从封锁后的这么多年就没啥技术改进，下一代纯粹是真•胶水双核。个人不看好昇腾的软硬实力

[pigpigxia]

@Cu635 华为前两个月说是要全面开源，不知道落实的怎么样

[pigpigxia]

@xeonforce 都是台积电的吗？中芯国际贴牌？

[bluryar]

评论区看到国产就只想到昇腾吗，除了情绪啥也看不到，MOE 时代，NVLink 的国产替代方案比芯片算力更加需要关注吧。

软件方面，国产芯片公司都会养团队去适配特定的 LLM ，其他非 LLM 模型的适配虽然细碎，LLM 可不一定差到拿不出手。VLLM 、SGLang 也在积极接受国产芯片的适配 PR 吧？

[coefu]

@bluryar 下次和别人辩论的时候，少用 xxx 吧。不看内容都能知道，你也是一知半解的不确定心理。👌？

[coefu]

力不从心，不得不跟，代际（ 1 ～ 2 ）差距。

HBM3 在追求量产（之后还有 HBM3e ）。棒子 HBM4 即将量产。 这是最关键的，比制程更关键。

gpu core 制程可以找代工（ tw 如果顺利归附，台积电直接转化），制程不再成为问题。

cuda 生态应该是正在对齐（厂商都有对应的算子开发招聘）？

LLM 底层基石 transformer 的原理机制已经吃透到阿 B 上面教程泛滥，各种变种层出不穷，这是最擅长的从 10 挖掘到 10ⁿ。为什么讲这个，因为为了最优化底层硬件对应做了很多定制。

最后，LLMs 能不能抵达（ 1 年，10 年，100 年？）定义还不清晰明了的所谓 AGI 也还是个问题。不过这都无所谓，就怕这个过程中创造了更多的附加品，这些附加品的价值是无法确定的（不过当前 LLMs 也并没有蒸汽机时代的工业革命带来的进展大）。好比美苏太空争霸带来了不少科技的进步。如果不跟，他有我没有，那真是亏大发了。

[bluryar]

@coefu “和别人辩论” 不知道您从哪里感觉到我在和人辩论，我只是一个往互联网公测拉粑粑的过客。 少用 xxx ，具体您认为应该少用啥？

[coefu]

@bluryar #13 忘记打引号了。我的意思是每句话后面带个“吧”字，会让那句话没有那么确定性。

[Cu635]

@pigpigxia #8
“开源”的是什么？芯片设计的 HDL 代码？硬件驱动？软件开发库？

@coefu #12
不要做“ tw 如果顺利归附”的白日梦，更要放弃“台积电直接转化”的幻想。人家机器直接给你远程锁机，不会让你顺利使用的。