百度开源 ERNIE 5.5 Flash Base 权重

5次阅读
没有评论

百度放出 ERNIE-5.5-Flash-Base 权重:总参数 280B、每 token 激活 14B 的稀疏 MoE 模型,从头预训练 33.5T token,训练上下文 128K,微调与推理支持 100 万 token 上下文。该权重为预训练结束时的检查点,可作为领域适配与指令微调的起点,采用自定义协议,权重已上

正文完
 0
评论(没有评论)

内容合作 · 项目交流

欢迎开发者、团队与我们联系,一起推动 AI 与机器人领域的优质内容创作与交流。