Kimi K3.1 Pro 权重放出:2.8T 参数,百万上下文

7次阅读
没有评论

Moonshot 于 11 月 4 日放出 Kimi K3.1 Pro 的权重。模型卡将其定位为原生多模态 Agent 模型,可直接处理文本与图像,总参数达 2.8T 的 MoE 架构,上下文约 104 万 token。

架构上,93 层中有 24 层改用 Gated DSA 稀疏注意力,在保持长上下文能力的同时控制计算开销。权重已上架 Hugging Face,开发者可直接下载,在此基础上做领域适配与 Agent 应用开发。

正文完
 0
评论(没有评论)

内容合作 · 项目交流

欢迎开发者、团队与我们联系,一起推动 AI 与机器人领域的优质内容创作与交流。