lchynn

折算下来每 M Token 要 50 元。
性价比并不好， 不如 混元和 deepseek ， 就是对比 moonshot ，minimax 等也算贵的。
大部分 RAG 场景， 并不需要很高的推理能力。只有编程和复杂任务规划智能体才需要接近 GPT4 水平的 GLM4 ；
而 GLM3 能力又和弱智的文心一眼 ERINE 3 差不多。

讲道理， 问中文文言和诗词常识，真的不如百度文心、通义千问、GLM4 。二线的 KIMI, 天宫，豆包什么都可以。

GPT4 的强项是在代码生成，指令遵循，复杂任务理解上。 你让一个大学毕业的程序员和突击过古诗文大赛提纲的的小学生比谁能背的诗词多，肯定程序员输啊。

测试大模型所训练数据的时间节点，可以问新闻大事；
比如俄罗斯何时入侵乌克兰，可以筛选掉 2022 年 2 月之前训练数据的大模型；
比如日本什么时候确定正式排放福岛核废水，可以筛选掉 2023 年 Q3 之后训练的大模型；
以此类推，建议使用英语询问。 对于国内大模型，关掉互联网搜索能力，可能测出实际训练数据的时间。

@mkdirmushroom 有没有试一下 Code-Qwen 或者 Deepseek Code ？ 谢谢， 如果速度可以， 感觉可以代替 Copilot 了

8845HS 的 NPU 好像说 FP16 (half) 的算力是 16 TFLOPS ； 估计是瞎吹吧。
3060 12G 的 FP16 (half) 才 12.74 TFLOPS

@wxd21020 8848HS 的 NPU 好像说 FP16 是 TFLOPS ； 估计是瞎吹吧。
3060 12G 的 FP16 (half) 才 12.74 TFLOPS

@mkdirmushroom 买了 GEM12 了么？ OLLAMA 或者 LM-STUDIO 推理 7B 的 gguf 模型咋样？ 有测试结果么？

@xJogger 谢谢， 那看来日常够用了。不知道综合能力对比 Qwen1.5 7B 如何。