百度放出 ERNIE-5.5-Flash-Base 权重:总参数 280B、每 token 激活 14B 的稀疏 MoE 模型,从头预训练 33.5T token,训练上下文 128K,微调与推理支持 100 万 token 上下文。该权重为预训练结束时的检查点,可作为领域适配与指令微调的起点,采用自定义协议,权重已上
正文完
百度放出 ERNIE-5.5-Flash-Base 权重:总参数 280B、每 token 激活 14B 的稀疏 MoE 模型,从头预训练 33.5T token,训练上下文 128K,微调与推理支持 100 万 token 上下文。该权重为预训练结束时的检查点,可作为领域适配与指令微调的起点,采用自定义协议,权重已上