ERNIE 5.5 Flash是一款高效的稀疏混合专家 (MoE) 语言模型，总参数量为 2800 亿，每个词元激活 140 亿个参数。该模型在33.5 万亿个词元上从零开始预训练，训练上下文最大可达12.8 万个词元；微调和推理支持100 万个词元的上下文 ERNIE-5.5-Flash-Base是预训练结束时的检查点，位于任何中期或后期训练之前，可作为领域自适应、指令调优和强化学习研究的通用起点。在统一的评估流程下，它在知识、推理、数学、代码、多语言和长上下文基准测试中均取得了优异的成绩；完整结果见下表，表中同时列出了…