@
NorthGod 1 、我先说我之前提出的问题。
1 ）“单机可以复现分布式的 bug”，这本身就很荒谬。你可以说你刚开始写的时候不需要一定要在多机跑，但是你都要明确修一个属于是分布式的 bug 了还不需要多机跑，那真的有点说不过去。你修 bug 不需要尽量原环境下复现，然后打日志，再根据日志修的吗？
要么就是你跑的模型根本不需要多机，单机就能完美甚至多开几个来运行，那你分布式的目的是什么？只是为了热备就没有必要做成这样，大可以所有节点都跑同一个模型，节点看情况上下线，然后写一个请求的路由，哪个节点在线，就跑在哪个上面就得了。
要么就是根本就没跑模型，只是 AI 让你感觉自己跑了，那更离谱了，连实测都不算，根本就是在臆想。
还是说你修 bug 就是跟 AI 说出了什么问题，让 AI 猜多几遍？
2 ）学生身份不是万能金牌，没人教你那就老老实实看一楼给你推荐的书，光靠 AI 和网页只会害了你，AI 是能编出来看起来合理但实际上不通的结果，网页也能找到许多错误的内容。就目前我对这个项目和这个帖子的理解，你完全就是跟 cc 说要做我要做一个什么什么项目，然后 AI 给你梳理出框架之后，你也不知道框架对不对，就让 AI 硬跑，出了问题就让 AI 硬修，最终得出了这一个全靠 AI 的项目，但是自己都不知道里面写了些什么。
3 ）你的代码行数注水的简直离谱，文档里的原文“核心代码量 八万余行（控制面 Go + 推理引擎 Python 的生产代码；连测试与桌面客户端计逾 14 万行）”。我原本也对代码行数没什么概念，但是当我拉下来 llamacpp 、vllm 两个同类型流行项目用"git ls-files | xargs wc -l"统计了一下总行数后，我就知道你这代码量简直扯的离谱，llamacpp 项目总行数 191615 ，vllm 项目总行数 117300 ，你的意思是你一个人凭借 AI 用两个月时间就做出来了能对标两三千人社区做了三年的成果的项目吗。
2 、我提出对 #19 的质疑：
1 ）首先你不是只有 4 张卡吗，为什么能得出 PP=8 的时候 RTT≈4ms ？又是 AI 帮你编的吧。其次多机 PP 慢的原因不只是因为 RTT ，模型在单张卡上的 prefill 过程是不用时间吗？下一张卡的 prefill 过程不用时间吗？更别说你还是混用不同算力的卡。PP 只有在最后一张卡 prefill 完了才会出首个 token ，请问你为什么会得出卡越多但是却几乎不增加首 token 延迟？你自己难道不清楚 PP 是什么东西吗？
2 ）我不用 vllm ，但就我自己用 llamacpp 实测来看，qwen3 30bA3b 这个模型上下文只能到 32768 ，开不了 131072 ，除非用其他技术手段硬开，当然你也可以说你用的 30b 不是这个，只是我也不知道你还能用哪个 30b 了。
3 ）“30B-int8 塞进单卡是能塞“，我就想问了，你知道 qwen3 30bA3b int8 的模型有多大吗，31.98G 的大小怎么塞进 5090 ？还跑上并发了？这个时候就不考虑 prefill 时间会爆炸了？当然你也可以说你用的 30b 不是这个，只是我也不知道你还能用哪个 30b 了。
4 ） DeepSeek V4 有两种，一个是 flash 一个是 pro ，flash 是 284bA13b ，pro 是 1.6tA49b ，就算 pro 部署不了，你也应该把目标放在尽可能部署出一个 flash 版上，否则做 PP 的意义何在呢。
5 ）“（ 2026 生产部署 ~80% 高频任务中小模型就够，成本差 10-30 倍）”。谁给你的数据？中小模型是有多小？是你文档里写的 Qwen3-8B 还是 Qwen3-0.6B ？你真用过这两个模型吗，一个虽然智商不足还算勉强能用，另一个根本就是幻觉严重不微调完全没法用，谁会在生产环境部署这些模型？如果没有私密性需求，用这种模型真不如直接调官方 api 或者中转站。
3 、我提出对 #20 的质疑：
”而且我们自己会写的引擎吐出的文字并没有任何奇怪的说话方式或者行为等等“。希望你自己再次看完这句话没有笑出声来，这还是中文吗？ AI 生成就算了，你就不能多跑几次选个通顺点的吗？
4 、我提出对 #21 的质疑：
1 ）文档里不是说”按算力分配工作量“吗，4060laptop 和 5090 之间各种标称性能都差了接近十倍，laptop 版还会受各厂商的温度墙、功耗墙限制，差距只会拉的更大，出现 1:10 的模型层分割比例很离谱吗？你不会连这两张卡的参数都不知道吧。
2 ）什么叫作”受限于目前没钱的条件，无法得出准确的性能答复“？ 5070 还回去了，那你不是还有 4060lp 、v100 、5090 吗，我就当你 v100 也不是你自己的，那你 4060lp 和 5090 两张卡也能跑啊。调优不用实际跑的话术都来了，你不实际跑你怎么知道瓶颈在哪，是卡与卡之间算力差太多还是卡与卡之间显存速度差太多，或者是其他的各方面的因素，你总得把实验做了才能得出结果吧。
3 ）人家让你回答网络栈开销怎么解决、项目细节是什么、是不是真测了，又说是自证陷阱。那你自己也得有点可信度啊，AI 发贴、AI 回复，我都怀疑项目本身是不是也全是 AI 帮你建、AI 帮你写、AI 装模做样帮你测试、最后 AI 帮你提交。
这次给大家回复倒是学会删 markdown 格式了，但是莫名其妙的比喻加上没必要的解释括号，你如果还是只会用 ai 写回复，你的项目可信度只会继续大大降低。