The Decoder· Matthias Bastian·· 5 小时前AI 评分70
百度发布 ERNIE 5.5 Flash Base 开源基础模型,参数量达 2800 亿
Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model
AI 摘要
百度发布了 ERNIE-5.5-Flash-Base,这是一个未进行微调或后训练的开源基础模型,旨在让开发者自行决定后续应用方向。该模型采用混合专家(MoE)架构,拥有 2800 亿参数,其中每次输入仅激活 140 亿参数。预训练数据量为 33.5 万亿 tokens,上下文窗口设计支持最高 128,000 tokens,但在微调与推理阶段可扩展至一百万 tokens。
在基准测试中,ERNIE 5.5 Flash Base 与 DeepSeek-V4-Flash-Base、Hy3-preview-Base 和 MiMo-V2.5-Base 在同一评估管道下进行了对比。结果显示,在推理、代码和长上下文任务上,该模型的表现与同量级的开源基础模型相当。权重文件已在 Hugging Face 提供 FP8 和 BF16 两种格式下载。
事实层面,百度确认了模型的具体参数规模、架构细节及基准测试结果;推断层面,这表明百度正在通过开放基础模型来维持其 AI 生态的活跃度,并试图在开源领域与 DeepSeek 等竞争对手争夺开发者注意力;猜测层面,文中提到“预计将随后推出后训练版本”,这可能意味着百度计划先通过基础版建立标准,再跟进对齐后的商业版本。
来源:The Decoder · the-decoder.com