海外算力通道收窄!众智 FlagOS × 清昴智能,助力国芯高性能上线商用 Token 工厂 | 雷峰网
您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
雷峰网公开课
活动中心
GAIR
专题
爱搞机
业界
人工智能
学术
开发者
智能驾驶
数智化
零售数智化
金融数智化
工业数智化
医疗数智化
城市数智化
金融科技
科技巨头
银行AI
金融云
风控与安全
医疗科技
医疗AI
投融资
医疗器械
互联网医疗
生物医药
健康险
芯片
政企安全
智慧城市
智慧安防
智慧教育
智慧交通
智慧社区
智慧零售
智慧政务
智慧地产
行业云
工业互联网
工业软件
工业安全
5G工业互联网
工业转型实践
AIoT
物联网
智能硬件
机器人
智能家居
此为临时链接,仅用于文章预览,将在时失效
业界
正文
发私信给徐咪
发送
0
海外算力通道收窄!众智 FlagOS × 清昴智能,助力国芯高性能上线商用 Token 工厂
本文作者:
徐咪
2026-11-18 13:31
导语:11 月 16 日,美国商务部工业与安全局(BIS)最新出口管制政策正式落地,将限制范围从芯片实物进一步延伸至远程算力访问,旨在封堵中国企业通过海外数据中心获取
11 月 16 日,美国商务部工业与安全局(BIS)最新出口管制政策正式落地,将限制范围从芯片实物进一步延伸至远程算力访问,旨在封堵中国企业通过海外数据中心获取先进 AI 算力的路径。 这一外部变量正在迅速传导至国内算力供给侧。对于正在兴起的“国芯 Token 工厂”而言,海外算力通道的收窄在需求侧倒逼本土算力加快承接真实业务;但在供给侧,国产推理芯片在制造与封装环节同样面临更严苛的审查。硬件供给依然紧俏,产业界不得不直面一个更迫切的工程命题:在现有的国产新卡与海量存量集群之上,如何把每一张卡榨出更高、更稳、算得平经济账的“有效 Token 产能”? 11 月 17 日,在“国芯国模 自主生态”2026 清昴 AI 伙伴大会暨 Token 工厂年会上,北京智源人工智能研究院与清昴智能联合发布“国产 Token 工厂端到端推理优化方案”,基于众智FlagOS(开源多芯片统一AI系统软件栈)正式上线基于国产芯片的商用Token 工厂。 “剪刀差”下的算力困局:电价逻辑与生态割裂 “大模型在上半场已经证明了我们可以打造出世界级的模型。但下半场更重要的是,如何把这些模型的能力变成高质量、低成本、稳定供给的、有价值的 Token 能力。”林咏华在开场演讲中指出,随着大模型首次以“Token 产能”的形态进入一线产业衡量体系,两个现实矛盾正在凸显。 首先是模型迭代与硬件基建之间的“周期剪刀差”。如今主流大模型几乎以月甚至以周为单位更新架构,但底层算力基础设施往往两到三年才会更新换代一批。如果软件层跟不上,昂贵的硬件刚部署不久就会面临跑不动新模型的尴尬。 其次是算力成本与供应链安全。林咏华用工业时代的“电价”作比:中国制造业的竞争力很大程度上源于低电价,而电力供应的底气来自九成以上依赖本土煤炭的能源结构;推演到智能时代,行业期盼的是亲民的百万 Token 单价,而供应链安全的底气,则取决于底层算力供给能否扎根国内。 但硬件侧是按卡、按规模采购,应用侧要的却是按秒交付的 Token。正如清昴智能创始人兼 CEO 关超宇在会上所言,两者之间亟需一座高效“翻译器”,将闲置、异构、难用的国产算力组织成可计量、高可靠的标准化产能。 “无论在 CPU 时代还是 AI 芯片时代,都不可能由一款芯片包揽天下。”林咏华认为,国内并不缺少优秀的芯片厂商,真正稀缺的是能够让所有硬件共享的软硬件协同生态。李炎在随后的分享中也点破了工程团队的切身痛点:面对百花齐放的模型与芯片,产业不能每发布一个模型、每推出一款芯片就从头做一次底层适配与算子重写。 这也正是智源过去四年联合高校与芯片厂商持续推进开源 FlagOS 的初衷——用一套开放、统一、可复用的系统软件栈,让同一套算子与编译系统在不同硬件上共享优化经验。截至目前,FlagOS 生态已汇聚 21 家芯片企业与 86 家生态伙伴,覆盖 35 款 AI 芯片。其底层由通用算子库 FlagGems、训推并行框架 FlagScale、统一编译器 FlagTree 与统一通信库 FlagCX 构成,9 大算子库累计沉淀超过 1,454 个开源 Triton 算子,其中近八百个算子在至少 5 款国产芯片上达到了原生算子 80% 以上的性能。在框架层面,智源坚持不 fork 上游代码库,而是通过插件化机制零侵入接入 vLLM、SGLang、Megatron-LM 等主流社区生态,实现了单个代码仓库覆盖 20 家厂商后端,并在过去半年多次完成新模型发布当天(Day0)即同步跑通多达 12 款芯片的验证。 深入微秒级内核:众智FlagOS把国产新卡跑进商业生产线 对于追求商业盈利的 Token 工厂而言,模型“能跑通”只是及格线,能否把延迟压低、吞吐拉高,才是决定服务质量与盈利空间的关键。 在此次联合发布的“国产 Token 工厂端到端推理优化方案”中,智源团队直接将优化推进到了华为昇腾 910C 集群的微秒级内核,主攻智谱 GLM-5.3 与 GLM-5.3-Flash 模型。李炎介绍,大模型推理在计算密集的 Prefill 阶段和访存密集的 Decode 阶段瓶颈截然不同,必须对症下药。 在 Prefill 阶段,针对 GLM-5.3-Flash 的混合注意力架构,团队重构了大小块计算路径,协调芯片内部的向量与矩阵计算单元并行分工,省去了中间结果的频繁片外搬运。在 81,920 输入长度、16 并发的测试中,波次吞吐提升了 3.41%;在 256K 超长输入下,TTFT p50下降了 4.94%。 到了受访存带宽掣肘最严重的 Decode 阶段,团队对碎片化的算子进行了深度融合——通过 LI 量化写回技术,将原本分步执行的动态量化、尺度转换与HBM缓存写回合并进同一个内核。在 910C 微基准测试中,这一改造将原本 18.03 微秒的原生链路耗时压缩至 2.04 微秒,实现接近 9 倍的提速;叠加针对小批量输入的向量路径定制,在端到端商业场景实测中,Decode 阶段的ITL整体下降超过 10%,TPOT降低 8% 以上。 这种不依赖堆叠硬件、纯粹通过底层内核重构释放出的性能红利,正在帮助清昴智能的 Token 工厂在同等算力规模下承接更高的并发商业流量。 盘活存量 910B:让老卡扛起 1M 长上下文 相比最新一代芯片上的性能冲刺,国内算力中心面临的另一个更现实的难题在于存量资产。市场上已经部署了大量昇腾 910B 服务器,但面对动辄支持百万(1M)上下文的新一代模型,老卡往往面临显存与算力的双重告急。 “GLM-5.3-Flash 和 DeepSeek-V4.1-Flash 这样的 Flash 类模型,其实是国产存量卡的天选之子。”李炎在现场提出了一个务实的判断。与其等待漫长的硬件换代,不如用系统软件架构把存量 910B 的潜力挖透。 在智源内部的 BAAI Token Hub 上,团队基于 FlagOS 全栈将 48 张存量 910B 组织为“Prefill与Decode分离”的推理集群,稳定跑通了支持 1M 上下文的 GLM-5.3-Flash 服务。32 张卡组成 4 个 Prefill 域专门消化长序列输入,另外 16 张卡组成 8 个 Decode 域专注保障多并发流式输出。该服务已连续稳定运行两周,线上TTFT P50保持在 2.3 秒左右,TPOT P50稳定在 22 毫秒。 更进一步的效率跃升来自缓存与搬运链路的重构。团队在框架插件侧打通了跨 Prefill 域的 Prefix Cache 复用,将缓存拆分为本地显存、私有主机内存与共享主机内存三级存储,并结合分段 SDMA 优化,把零散的内存页合并成连续传输段以拉高 PCIe 带宽利用率。实测数据显示,这一方案将前缀命中率从 82.65% 推升至 94.15%,推动复用阶段的首字时延中位数从 16.63 秒下降至 3.10 秒,降幅高达 81.4%。 这意味着,企业与科研院所手中大批存量 910B 集群无需推倒重建,通过软件栈升级即可直接具备承接长上下文商业服务的能力。林咏华还在现场透露,基于 FlagOS 统一技术栈,智源仅用两周时间便完成了对华为 910B-T 芯片关键大模型算子的适配与性能优化。 多芯横向印证与生态“保驾护航” 在智源看来,统一软件栈的价值不能只在单一芯片上得到验证。峰会现场公布的多芯横向实测显示,在平头哥 810E 上,FlagOS 2.2 帮助 DeepSeek-V4.1-Flash 推理性能提升 77% 至 82%,实现 16 路并发可用、最高支持 80 并发,每请求解码速度达到 136.2 tok/s;在海光 BW1100 上,GLM-5.3-Flash 的推理性能也提升了 25% 以上,多并发下单路吞吐突破 80 TPS。 从底层算子库、编译器到跨芯片调度插件,此次智源作为首批战略伙伴深度参与联合发布,正是希望将开源社区沉淀的优化能力,直接输送给一线 Token 工厂与终端企业。 正如林咏华在演讲最后对产业伙伴作出的承诺——智源与开源社区扮演的正是“保驾护航”的角色:“无论你手里是已经运行多年的存量集群,还是正在部署的新一代芯片,乃至未来即将问世的新架构硬件,都不用担心上面运行不了最新的模型。”在算力竞争转向比拼“有效 Token”的当下,一个开放、可复用的系统软件底座,正在成为国产算力打破周期束缚的关键支点。
0人收藏
分享:
相关文章
智源
AI
CPU
智源悟界·PhysCapBench:首个跨领域的世界模型“物 ...
AI做中学 创未来|智源SoulAgent持续拓展教育应用
源创计划首期路演:五个AI硬科技项目集中亮相,智源 ...
智源众智FlagOS 2.2让前沿模型与多元算力协同演进
徐咪
编辑
发私信
当月热门文章
OCR 3.0 时代来了!文心 Unlimited OCR 2 开源发布,超长文档解析迎来“页数自由”
双11 iPhone Duo货源大战:苹果为什么把更多货交给天猫?
Accio成双11商家生意加速器:蓄水期缩短半个月、15分钟全网爆款调优
源创计划首期路演:五个AI硬科技项目集中亮相,智源学者加速从实验室走向产业一线
百度世界2026前瞻:10+重磅分论坛,全面解码AI时代的智能组织进化路径
最新文章
重构医疗AI底座!德适科技 iMed-6.0 包揽国际双榜冠亚军,获《福布斯》深度盛赞
继YouTube后,速卖通与全球头部联盟营销平台CJ达成战略合作
继YouTube后,速卖通与全球头部联盟营销平台CJ达成战略合作
千问办公电商版推出“品牌知识库”,让Agent先懂品牌,再干活
可灵AI发布Kling Image 4.0:原生8K超高清、组图直出,刷新专业图像生成新高度
消费级具身,打破「次元壁」
热门搜索
MIT
特斯拉
阿里巴巴
IBM
智能手环
摄像头
Galaxy S4
陌陌
TechCrunch Disrupt
CoRL
手机游戏
联系我们
关于我们
意见反馈
下载雷峰网客户端
iPhone
Android
Copyright © 2011-2026 雷峰网 深圳英鹏信息技术股份有限公司 版权所有 粤ICP备11095991号
办公电话 0755-26581864
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
重发邮箱修改邮箱
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置
以后再说
精选
暂无精选,请稍后再看。
