精选

← 返回 OPC日报

雷锋网 · 产品 ·

百度开源文心5.5 Flash Base,多基准测试刷新同尺寸模型 SOTA

百度开源文心5.5 Flash Base,多基准测试刷新同尺寸模型 SOTA | 雷峰网
您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
雷峰网公开课
活动中心
GAIR
专题
爱搞机
业界
人工智能
学术
开发者
智能驾驶
数智化
零售数智化
金融数智化
工业数智化
医疗数智化
城市数智化
金融科技
科技巨头
银行AI
金融云
风控与安全
医疗科技
医疗AI
投融资
医疗器械
互联网医疗
生物医药
健康险
芯片
政企安全
智慧城市
智慧安防
智慧教育
智慧交通
智慧社区
智慧零售
智慧政务
智慧地产
行业云
工业互联网
工业软件
工业安全
5G工业互联网
工业转型实践
AIoT
物联网
智能硬件
机器人
智能家居
此为临时链接,仅用于文章预览,将在时失效
业界
正文
发私信给徐咪
发送
0
百度开源文心5.5 Flash Base,多基准测试刷新同尺寸模型 SOTA
本文作者:
徐咪
2026-11-05 14:53
导语:11月5日,百度正式开源最新基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base)。模型采用MoE架构,总参数量2800亿,每个
11月5日,百度正式开源最新基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base)。模型采用MoE架构,总参数量2800亿,每个 Token 激活140亿参数,使用33.5万亿个 Token 完成预训练,预训练上下文长度最高达128K,微调与推理阶段支持最长100万 Token上下文。在知识、推理、数学、代码、多语言和长上下文等多个基准测试中取得同尺寸模型 SOTA 表现,超过 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 等模型。开源地址:https://huggingface.co/baidu/ERNIE-5.5-Flash-Base随着大模型应用从文本问答向长文档分析、多轮交互和智能体任务延伸,模型需要处理的信息量持续增加,计算和显存开销也随之上升。在保证模型能力的同时提高资源利用效率,已成为大模型研发的重要课题。文心 5.5 Flash Base围绕“效率”这一设计主线,在注意力机制、专家路由及训练机制等关键环节进行系统性优化,并实现了多项算法创新。在注意力机制上,文心提出 Latent-Gated Sparse Attention,将混合稀疏注意力、低秩门控注意力与虚拟头注意力结合起来。其中,模型通过组合HCA与MLA,让不同注意力层分别承担压缩历史信息和细粒度访问历史位置的任务;低秩门控注意力(Low-Rank Gated Attention)则利用已有的低维表示计算信息门控,使门控投影权重参数减少75%;此外,虚拟头注意力(Virtual Head Attention,VHA)可提升模型表达力与训练质量,推理时融合进注意力算子,开销极小。这些设计降低了长上下文处理的资源开销,同时保留模型对关键信息的处理能力。在专家路由上,模型采用 Multi-Router Latent MoE,由多个独立路由器共同参与专家选择,改善路由评分与专家实际效用之间的相关性。相比依赖单一路由器的传统方案,该设计旨在降低单一评分偏差对专家选择的影响,同时保持激活专家数量、专家计算量和通信量不变。在训练目标上,模型引入 ECHO,无需额外增加 MTP 模块(Multi-Token Prediction),而是复用主干最后一层,让主干自身学习预测后续 token,从而提前规划序列走向,有效提升推理与代码能力。文心5.5 Flash 仅采用单步 ECHO 预训练,复用的最后一层还可作为投机解码的草稿模型,展现出多步外推能力:同样只训练一步,多步起草质量大幅优于辅助 MTP 模块。除模型架构外,大模型基建创新也十分重要。文心对分布式Muon优化器进行了优化,并推出面向大 head dim 的注意力算子 FlashMask-4,改善大规模训练中的通信、显存利用与计算效率。模型能力的提升不仅依赖算法本身,也与训练系统能否高效支撑这些设计密切相关。基座模型不仅承载着预训练阶段形成的通用能力,也是下游模型开发与应用创新的重要基础。与面向终端用户的应用模型不同,Base 模型为开发者和企业提供了进一步微调与定制的空间,可基于自身业务需求构建适应不同场景的专业模型与应用。开放基座模型能够为开发者提供更多技术选择,降低专业模型开发的训练成本与技术门槛。当前,大模型的竞争逐渐迈向模型能力、训练效率与场景创新协同发展的新阶段。随着推理、Agent等技术与应用加速演进,行业对基座模型的需求也从单一的能力提升,转向更高效的训练范式、更灵活的能力拓展,以及更广泛的场景适配需求。文心5.5 Flash Base在提升模型基础能力与训练推理效率的同时,为开发者和社区提供了更具拓展性的技术基础,推动模型技术走向多样化的能力探索与应用创新。
0人收藏
分享:
相关文章
百度
文心
AI
世界模型热潮里,百度重新亮出无人驾驶底牌
AI教AI开车!百度Apollo World世界模型叩开无人驾驶 ...
用AI阻断非法野生动物贸易,百度获世界互联网大会杰 ...
科大讯飞董事长与总裁主动降薪,两人均少领超2000万 ...
徐咪
编辑
发私信
当月热门文章
千问确认将推出「千问Go!」,已开放体验申请
1688全面接入AI电商工作台Accio
海康威视亮相2026中国工博会:物联感知+AI,加速工业场景数字化
OCR 3.0 时代来了!文心 Unlimited OCR 2 开源发布,超长文档解析迎来“页数自由”
千问办公发布电商版,开启邀测
最新文章
2000万人用灵光,灵光2.0上线一周托管超116万项事务
360亮相北大AI+X青年人才实践发展论坛,联合发布“AI原生人才标准”
独家 | 腾讯前高级研究员获数千万投资,锚定物理AI接触智能
独家丨预测引擎 Prophetlab 获数千万种子轮,常春藤资本等机构联合投资
虎鲸文娱“鲸锐AI”平台正式上线,AI视频单分钟成本节省30%以上
智能体身份注册与解析平台在乌镇发布,蚂蚁参与首批运行平台建设
热门搜索
AI
区块链
虚拟现实
腾讯云
Android应用
直播
激光雷达
专利
平板电脑
Windows
iPhone应用
联系我们
关于我们
意见反馈
下载雷峰网客户端
iPhone
Android
Copyright © 2011-2026 雷峰网 深圳英鹏信息技术股份有限公司 版权所有 粤ICP备11095991号
办公电话 0755-26581864
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
重发邮箱修改邮箱
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置
以后再说

查看来源原文