微软 10 月 15 日宣布完成 MAI-Base-2 预训练,这是一个总参数 2.8 万亿、每次推理仅激活 800 亿参数的 MoE 基础模型。微软宣称其训练效率比 DeepSeek-V4-Pro-Base 高出 4.2 到 12.3 倍,不过该数字是微软用 scaling-law 拟合得出的,尚无独立测评验证。
正文完
微软 10 月 15 日宣布完成 MAI-Base-2 预训练,这是一个总参数 2.8 万亿、每次推理仅激活 800 亿参数的 MoE 基础模型。微软宣称其训练效率比 DeepSeek-V4-Pro-Base 高出 4.2 到 12.3 倍,不过该数字是微软用 scaling-law 拟合得出的,尚无独立测评验证。