有体验过了的么，觉得如何？除了官方现在有哪些 MaaS 已经支持了的可以分享下
| Parameter | Specification |
|---|---|
| Architecture | Mixture-of-Experts (MoE) |
| Total Parameters | 2.8T |
| Activated Parameters | 104B |
| Number of Layers | 93 |
| Number of Dense Layers | 1 |
| Attention-Layer Composition | 69 KDA + 24 Gated MLA |
| Attention Hidden Dimension | 7,168 |
| Number of Attention Heads | 96 |
| Latent MoE Dimension | 3,584 |
| MoE Hidden Dimension (per Expert) | 3,072 |
| Number of Experts | 896 |
| Selected Experts per Token | 16 |
| Number of Shared Experts | 2 |
| Vocabulary Size | 160K |
| Context Length | 1,048,576 |
| Attention Mechanism | KDA & Gated MLA |
| Activation Function | SiTU-GLU |
| Vision Encoder | MoonViT-V2 |
| Parameters of Vision Encoder | 401M |
| Quantization | MXFP4 weights / MXFP8 activations (quantization-aware training) |
| Modality | Text, Image |
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.