AI 热下被忽视的编程语言

[dayeye2006199]

最近观察 AI 热下的一些项目使用的编程语言趋势。 第一大语言不用说自然是 python ，langchain, autogpt 之流都是 python 写的。 还有一大类就是 c++，几个模型推理的硬核项目

• https://github.com/ggerganov/whisper.cpp （ ASR ）
• https://github.com/ggerganov/llama.cpp （ LLM ） 还有一些浏览器模型部署（涉及 ASM ），都走了 C++这条路子。

自己有时候进去这些 repo 想看看是怎么弄的，无奈和个傻子似的看不懂 C++，也不太熟悉工具链，想要从头编译，直挠头。

这波 AI 潮下，会 C++我觉得算是一个优势

[levelworm]

C/C++这种偏底层的语言，还是需要懂其他的 domain knowledge 才有真正的价值。

[Alias4ck]

其实 pytorch 本身 就有一大半是 c++写的 只不过你没关注到而已

[LeeReamond]

没什么意义，毕竟你不太可能通过给框架内核贡献代码获得收入，更不太可能重复实现内核，另外现在都 2023 了如果要贴近底层，新项目 rust 优先级肯定更高。

[user667788]

好奇 他们为什么不用 rust ， 或者用其他更现代的语言，c++给我的感觉是个老古董

[L4Linux]

@user667788 不追求 memory safety 而强行用 Rust 难道不是自讨苦吃？

[duke807]

@user667788
rust 开发时间要加倍，问问市场同不同意

[chesha1]

你举的两个例子，最初都是用 python 开发的，其实深度学习项目想部署，确实大概率要转成 c++，会 c++算是必备技能吧。就看你做什么层级的工作了，如果是纯做算法的工作不需要懂 c++，如果底层点，偏工程一点的岗位不可能不会的

c++其实一直没有被忽视的，就算是深度学习这个领域也是，最主流的框架用 python 调用，但是框架底层不少还是用 c++写的

[chesha1]

@user667788 我个人的理解是这样，不一定对：
1. c++市场供应更大，找个同水平的 rust 程序员花费更高，尤其是在高性能领域
2. 深度学习需要调用 cuda 和很多其他运算的库，似乎只能用 c++来做，至少 c++是主流
3. c++新标准用了之后不算太老，c++20 ，23 有各种新东西，协程, module 之类的都挺好的

[uni]

气抖冷，什么时候 rust 才能干翻 c++（引完战就逃（（

[jones2000]

c++门槛高， 没有 4-5 年上不了手。转行赚快钱的基本不会选 c++. 选 c++后面的路是越走越宽。

[dayeye2006199]

我现在在研究怎么把一些 CPP 写得科学计算库移植到 wasm 里，发觉工具链这块是一抹黑，cmake ，编译器这块是一点都不熟

[ck65]

Rust 在 LLM 这波屁都不敢放一个（不是我说的

[crackidz]

@ck65 https://github.com/sobelio/llm-chain (

[ck65]

@crackidz fuiyoh 总算写了个 api caller project （

[talkischeap567]

intel 那几千页的手册
也没有一行 C++代码
万事万物都是有联系的

[FrankHB]

@user667788 要现代岂不是先得把 py 干掉？
没什么现代语言能抄个 1930 年就有的 lambda 还有脸限制一行的吧。

@L4Linux 什么叫不追求 memory safety ，你写的玩意儿有几个是可以随便 crash 无所谓的？
（就是挂在导弹上漏尿的都不算 Rust 所谓的 memory safety 。）
你要说用 Rust 是懒得 review 这种低端问题，让人跟 rustc 斗法节约时间，然而并不是所有项目都能节约出多少，这还差不多。

@chesha1 1. 市场是大但是分层且不互通，得看水平在什么程度上。
不限预算是无所谓的，反正什么语言都得会。
卡死预算也是无所谓的，反正这俩都不会。
中间层次就比较迷，得看从事的领域是不是恰好有很多已经造过的轮子。众所周知，C++和 Rust 用户造（烂）轮子的水平和品位半斤八两，如果一个领域流毒 C++烂轮子多、好轮子少，那么 C++就有超额成本；反过来就是 Rust 占便宜。但恰好这里 Rust 基本就没轮子……
至于跟 rustc 斗的更低层次的初级用户，比 CRUD boy 贵不了多少了。
2. 非技术问题。会折腾的没什么人有兴趣自己造更没资源推广。
3. “挺好的”，说明比较初级。

@uni spec ，请。

@talkischeap567 那坨前后一致性都有问题的 shit 伪码就见过写 cmodel 的翻译成 C/C++，没见过其他抖 M 来整活的。

[tool2d]

ai 下，也就楼主提到的这个人用 c++，而且是反潮流的。
其他所有人都用 pytorch 写，用 gpu 加速。
至于为什么选 c++，应该单纯就是兴趣。

[flyqie]

@user667788 #4

1. cpp 能踩的坑大部分别人都踩了，相关方案可能不够好但基本都有。

2. 好招人，rust 目前高级别不好招。

3. 不像 rust 语法那样不好 review ，相对来说清晰的多(个人感觉)。

4. 生态问题，rust 没出以前大家都是 cpp 什么的写，再加上 cpp 目前好像也没个靠谱的 abi 。

5. 使用 rust 可能会有些特性很优秀，但这完全抵不上从 cpp 迁移到 rust 的劣势，不同项目有不同的搞法，不是所有项目都有必要用 rust 更换 cpp 。

[chesha1]

@FrankHB 看上去你对于 rust 有很独特的偏爱，不过你要是把自己用来批判别人的时间挪一点出来，给 rust 生态做贡献，“会折腾的没什么人有兴趣自己造更没资源推广”这种现象就会变少一点了

[Nugine0]

这不就是 ML sys 方向吗，有没有人说说岗位需求大不大