首页 / 大模型动态

百度发布 ERNIE 5.5 Flash Base:2800亿参数 MoE 基座模型开放权重

百度发布 ERNIE 5.5 Flash Base,开放2800亿总参数、每Token激活140亿参数的MoE基座模型权重,并支持最长百万Token微调与推理。

今日科技圈头条C编辑部
查看行业影响↓

11月5日,百度 ERNIE 团队发布 ERNIE-5.5-Flash-Base。官方称,这是一款采用稀疏混合专家架构的基础模型,总参数量为2800亿,每个Token激活140亿参数。

据百度披露,该模型提供 FP8 与 BF16 两种权重。其训练上下文长度为128K,并支持最长100万Token的微调和推理。作为基础模型,它面向后续训练和部署使用,与直接面向终端用户的成品对话模型并非同一定位。

上述参数、上下文能力及权重信息均来自百度公开页面。页面所列模型表现属于厂商披露,不能视为本站对实际业务效果的独立测试。

开放权重带来的后训练空间

基础模型权重公开后,模型服务商、研究团队和企业技术部门可将更多资源放在领域数据、微调、部署适配与评测上,而不必从大规模预训练重新起步。长上下文能力能否在实际任务中形成价值,仍取决于具体数据规模、推理资源、模型配置和工作流设计。对企业而言,采用开放权重也不意味着部署成本自动下降:数据治理、权限管理、效果验证和持续维护仍是进入生产环境的必要环节,因此其影响更可能先体现为技术路线与服务供给的选择增加。

涉及行业行业影响分析简要理由
应用软件利好开放基础模型权重增加了定制化训练与私有化部署的可选底座。
系统软件利好模型微调、推理部署和运维需要相应的软件工具与运行环境支持。
IT咨询与其他服务中性企业仍需围绕数据、评测和部署进行项目化实施,需求取决于实际采用。

新闻热点内容来源于媒体公开报道。文章分析仅代表个人观点,不构成投资建议。

进一步了解

从报道到选型

相关报道

专题:AI模型与技术

#百度#ERNIE 5.5 Flash#开放权重#MoE#长上下文