Moonshot AI 于 11 月 4 日放出 Kimi K3.1 Pro 的权重,模型为 2.8 万亿参数 MoE 架构,上下文可达约 104 万 token,93 层中有 24 层改用稀疏 Gated DSA 注意力。权重已在 Hugging Face 上架,并附 vLLM 与 SGLang 部署方案。
正文完
Moonshot AI 于 11 月 4 日放出 Kimi K3.1 Pro 的权重,模型为 2.8 万亿参数 MoE 架构,上下文可达约 104 万 token,93 层中有 24 层改用稀疏 Gated DSA 注意力。权重已在 Hugging Face 上架,并附 vLLM 与 SGLang 部署方案。