精选

← 返回 OPC日报

雷锋网 · 产品 · 上海 ·

终端侧AI:从单点应用走向智能体体验

终端侧AI:从单点应用走向智能体体验 | 雷峰网
您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
雷峰网公开课
活动中心
GAIR
专题
爱搞机
业界
人工智能
学术
开发者
智能驾驶
数智化
零售数智化
金融数智化
工业数智化
医疗数智化
城市数智化
金融科技
科技巨头
银行AI
金融云
风控与安全
医疗科技
医疗AI
投融资
医疗器械
互联网医疗
生物医药
健康险
芯片
政企安全
智慧城市
智慧安防
智慧教育
智慧交通
智慧社区
智慧零售
智慧政务
智慧地产
行业云
工业互联网
工业软件
工业安全
5G工业互联网
工业转型实践
AIoT
物联网
智能硬件
机器人
智能家居
此为临时链接,仅用于文章预览,将在时失效
芯片
正文
发私信给徐咪
发送
0
终端侧AI:从单点应用走向智能体体验
本文作者:
徐咪
2026-11-08 15:54
导语:发言人:高通公司AI产品技术中国区负责人 万卫星2026年11月7日,上海 终端侧AI发展到了什么阶段?终端侧AI经过过去3至4年的发展,正
发言人:高通公司AI产品技术中国区负责人 万卫星2026年11月7日,上海 终端侧AI发展到了什么阶段?终端侧AI经过过去3至4年的发展,正在迎来一个比较重要的变化节点。从应用来看,终端侧AI并不是从大模型开始的。影像其实是AI较早在终端落地的领域之一。近年来手机拍照效果不断提升,背后就有终端侧AI技术的推动。如今,终端侧AI已经进一步拓展到简单问答、聊天、图像生成与处理,以及文本处理、语音转录、实时翻译等多模态应用,其中不少功能在端侧落地的条件已经比较成熟。不过,目前很多端侧AI应用仍然偏向单点功能。例如自动语音识别(ASR)、文本摘要、图片处理、简单聊天机器人等,大多解决的是一个具体任务。如果未来希望终端能够进一步完成意图理解、任务编排、实时操作目标App等系统级、规划类任务,就需要更强的端侧模型能力。这意味着,终端侧AI正在逐渐从解决一个个具体任务,向更加复杂的智能体体验演进。 为什么需要终端侧AI?端侧和云端是什么关系?高通并不强调端侧的唯一性,而是强调端云协同或者“计算连续体”,其中一个重要思路是“端侧优先”(on-device first)。传统依赖云端的AI服务,每一次推理都需要消耗云端Token、GPU以及云端调度资源,同时依赖网络连接。如果将合适的AI能力部署到端侧,则可以减少对网络的依赖,提供更加及时和稳定的响应,同时发挥终端在安全、隐私和个性化方面的优势。如果用一个比较直观的比喻来理解:云端更像一个“通用知识库”,端侧则拥有更多属于用户个人的“专业化知识”。端侧可以结合用户是谁、在哪里、过去做过什么,以及当前所处的环境,对用户接下来可能需要的服务作出判断,这也是“主动式AI服务”的基础。因此,端侧并不是孤立的体系。云端可以承接需要更强智能和计算能力的任务,端侧则能够发挥实时、稳定、隐私以及个性化等优势,二者相互协同。 为什么MoE成为终端侧AI的重要技术方向?MoE全称为Mixture of Experts,即混合专家模型。理解MoE,可以先把它和传统Dense模型进行比较。以一个30亿参数的Dense模型为例,每完成一次推理,30亿参数都需要运行一遍,才能得到最终输出。MoE的工作方式有所不同。它将模型中的参数划分为多个不同的“专家”模块,每个专家模块负责其中一部分,而且可能擅长不同的任务。当模型处理某个具体任务时,只需要调用与这个任务相关的部分专家模块。比如,一个MoE模型包含20个专家模块,执行某个任务时,可能只需要调用其中2至3个专家模块,而不是让全部20个专家模块同时运行。一个很直观的“厨师”比喻:Dense模型就像家里只有一个厨师,无论想吃什么菜,都由这个厨师来做。他可能会很多菜系,但每一种都未必最擅长。MoE则像同时有多位擅长不同菜系的厨师,有的擅长鲁菜,有的擅长京菜,有的擅长淮扬菜。当你想吃淮扬菜时,只需要让擅长淮扬菜的厨师工作,其他厨师可以休息。也就是说,模型虽然拥有很多“专家” 模块,真正执行一次任务时,只需要让其中一部分参与计算。这种机制可以减少一次推理需要实际运行的参数量,提高模型运行效率。 MoE为什么对终端侧AI尤其重要?MoE在云端大模型中已经得到应用。随着端侧AI发展,越来越多的端侧模型也开始采用MoE方案。这一技术对于终端尤其重要,因为手机、PC等设备受到内存和功耗等条件限制。目前主流做法通常只能在端侧运行20亿至30亿参数规模的模型。这一规模已经可以很好地完成ASR、文本摘要、图片处理、简单聊天等单点任务,但如果希望完成系统级、规划类的复杂任务,模型的智能能力仍然面临一定限制。现阶段采用20亿、30亿或40亿参数规模的模型,并不是完全无法运行这些复杂任务,但是完成度和准确度仍有提升空间,可能达到60%、70%或80%的水平。借助MoE,则有机会进一步提升端侧模型的智能水平以及复杂任务的完成度和准确度。这也是MoE对于终端侧AI的一个重要意义:在终端有限的内存、功耗等条件下,为部署和运行更高智能水平的模型提供新的技术路径。随着相关技术进一步发展,目前现场展示的意图理解、任务编排、实时操作目标App等能力,未来有望进一步应用到手机、汽车、PC等不同终端。 高通在进博会现场的端侧MoE智能体演示展示了什么?MoE模型包含多个专家模块,因此模型总体体量较大。在端侧真正运行起来,除了模型自身的智能水平,还需要解决两个非常实际的问题:如何根据当前任务,提前预测接下来需要调用哪些专家模块;预测完成后,如何快速从存储中调用这些专家模块,并让它们及时参与计算。在大模型推理过程中,DDR带宽往往是一个重要瓶颈。如果能够提前判断下一步需要哪些专家模块,并将这些专家模块预取到合适的位置,就能够减少等待时间,提高模型运行效率。高通在第九届进博会展出的端侧MoE智能体演示,正是围绕这些问题进行探索,由高通与Infris AI、江波龙、阶跃星辰共同合作完成。围绕端侧MoE模型的高效运行,各方从模型、推理、存储和芯片平台等不同环节协同优化:阶跃星辰重点提升模型的智能能力;Infris AI通过推理方案,对所需专家模块进行提前预测和预取;江波龙优化专家模块从通用闪存存储(UFS)到内存的加载效率,使其能够更快被激活;高通则围绕芯片平台和软件栈,与合作伙伴共同优化专家模块路由、专家模块预测和缓存预测等环节,从而提升MoE模型在端侧的整体运行效率。因此,这一演示展示的不只是一个模型,而是围绕模型、推理、存储、芯片平台进行的系统性优化,也体现了终端侧AI从单点技术创新走向产业协同。 终端侧AI为什么越来越需要生态协作?随着AI和大模型发展,高通与产业上下游合作的重点也在发生变化。目标不只是把模型“搬”到终端,而是让模型在端侧运行得更好,并进一步将这些能力集成到手机、PC、眼镜、汽车等不同终端设备中。在终端侧AI生态中,不同伙伴扮演着不同角色:模型厂商提供“智能”,高通与模型厂商合作,通过模型量化,并结合芯片技术和软件栈进行优化,让模型更小、推理更快,推动合作从“模型+芯片”进一步走向“模型for芯片”或“芯片for模型”;终端厂商掌握用户“入口”,拥有设备、操作系统和智能体能力,同时终端承载着大量个人和个性化数据,需要将芯片能力与模型智能整合起来,转化为用户可感知的AI体验;开发者负责将AI能力带到更多App和场景,把芯片、模型以及操作系统的能力和权限融入具体应用,并通过丰富的应用生态解决AI应用的“长尾效应”;高通则提供终端AI能力底座,持续增强NPU等AI处理能力,并通过骁龙平台、全栈AI软件和开发工具,与模型厂商、终端厂商和开发者协作,推动AI能力在更多终端和应用中落地。此次进博会的MoE智能体Demo也是这一生态合作模式的具体体现:从模型、推理方案、存储到芯片平台,不同伙伴分别解决不同环节的问题,共同推动更复杂的AI能力在终端侧运行。
0人收藏
分享:
相关文章
高通
芯片
AI
为了智能体AI,高通「新造」了第六代骁龙8超级至尊版 ...
完成Modular收购,高通瞄准数据中心、基础设施、个人 ...
高通徐晧亮相WAIC端侧AI论坛:从智能体需求出发,持 ...
高通发布面向智能体AI时代的数据中心技术路线图,推 ...
徐咪
编辑
发私信
当月热门文章
千问确认将推出「千问Go!」,已开放体验申请
1688全面接入AI电商工作台Accio
海康威视亮相2026中国工博会:物联感知+AI,加速工业场景数字化
OCR 3.0 时代来了!文心 Unlimited OCR 2 开源发布,超长文档解析迎来“页数自由”
千问办公发布电商版,开启邀测
最新文章
哪里电便宜,算力就往哪里跑?没那么简单
算力不缺供给,缺的是「结算层」:九章云极的智算云答案
最高288核的至强6+,为了Agent高密度部署还下了哪些「云功夫」?
天数智芯天垓300实测对标H200,国产GPU接下来拼什么?
当超算走出实验室:一场从”算得快”到”算得值”的产业迁徙
超智深融 算力圳浓——第二十二届CCF全国高性能计算学术大会在深圳成功举办
热门搜索
百度
滴滴
黑莓
数据
zynga
AlphaGo
paypal
数字化转型
Moto
数据挖掘
AI教育
联系我们
关于我们
意见反馈
下载雷峰网客户端
iPhone
Android
Copyright © 2011-2026 雷峰网 深圳英鹏信息技术股份有限公司 版权所有 粤ICP备11095991号
办公电话 0755-26581864
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
重发邮箱修改邮箱
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置
以后再说

查看来源原文