0.6秒!手机跑Stable Diffusion创下最快速度,而这仅仅是开始
导语:如今,随着将大模型塞进手机的进程加快,普通用户也能亲自体验生成式AI的魅力了。
2023 已经行至尾声,这一年大模型和生成式 AI成为人工智能圈的主流趋势。自ChatGPT 出现以来,各式各样通用、专业的 AI 大模型层出不穷,喷涌之势已经不可阻挡。随着量化、网络剪枝和知识蒸馏等模型压缩技术进步,手机等终端设备AI算力持续增强,大模型在云端部署之外正在向终端落地迈进。
对于这场已经拉开了序幕的「终端侧革命」,芯片巨头和手机厂商们成为主力军,他们不断尝试在手机等终端设备上部署运行生成式AI大模型,时不时给人们一点小小的惊喜和震撼。
今年2月,我们第一次看到了在手机上运行超过10 亿参数的文生图大模型Stable Diffusion。那是在一部搭载高通第二代骁龙 8移动平台的安卓手机上运行的,不到15秒的时间执行20步推理,生成了一张512×512像素的图像。这也创造了当时智能手机上最快的推理速度。
你以为这就是手机运行Stable Diffusion的速度极限了吗?显然不是。在上个月举行的2023骁龙技术峰会上,不到15秒的生成时间又被整整缩短数十倍。高通最新旗舰移动平台第三代骁龙8(以下简称骁龙8 Gen 3)让速度飞升成为可能。
在峰会现场,高通用搭载了骁龙 8 Gen 3的手机运行相同的Stable Diffusion大模型,这次不到1秒(0.6秒)的时间便在本地生成了一张图像。从15秒到0.6秒,终端侧生成式AI大模型的进化速度让我们惊叹不已。
这只是高通在本届骁龙技术峰会上展示其终端侧AI能力的牛刀小试。除了生成速度(从 15 秒到 0.6秒)有了质的飞跃,骁龙8 Gen 3将支持运行的大模型参数规模(从10亿到百亿)提升一个量级。
大模型赋能平台也不再局限于手机,高通下一代 AI PC 芯片骁龙X Elite亮相,将百亿参数大模型「塞进」PC平台,极大拓展了生成式AI应用的广度。
至此,高通在终端侧AI领域积累起来的领导力和技术领先性进一步得到加强,更赋予了手机、PC,甚至耳机等厂商更多终端AI落地的想象力和可能性。
双平台并进,让生成式AI更加触手可及
自今年2月以来,高通先后在搭载第二代骁龙8移动平台的安卓手机上运行Stable Diffusion、ControlNet,让大模型跑在手机端成为现实。此次骁龙峰会上发布的骁龙 8 Gen 3 将大模型终端侧落地的潜力提升到了新的高度,使其自身继续在该领域引领潮流。
据了解,骁龙8 Gen 3采用的高通AI引擎拥有面向移动终端的强大Hexagon NPU,集成了升级后的硬件加速单元、微切片推理单元、加强张量、标量和矢量单元,所有单元共享 2 倍带宽的大容量共享内存。同时支持 INT8+INT16的混合精度以及 INT4、INT8、INT16和FP16的所有精度。性能较前代提升98%,能效提升40%。
骁龙 8 Gen 3 集成的高通传感器中枢也更强,拥有2个始终感应ISP、2个micro NPU和1个DPS,内存增加了30%,支持INT4精度,AI性能提升了3.5倍。
可以说,骁龙 8 Gen 3赋予了手机前所未有的强大终端侧AI性能,成为高通首个专为生成式AI打造的移动平台。那么这款旗舰级移动平台是否名副其实呢?这是我们大家最为关心的问题。
在该平台上,高通AI引擎首次支持多模态生成式AI,包括了多种大语言模型、视觉语言模型等。尤其是在终端侧,骁龙8 Gen 3 首次支持运行 100亿参数的模型,规模迈入百亿量级。同时将 Stable Diffusion 生成图像的时间降到了1秒之内,再次创下最快速度。
在跑Meta大语言模型Llama2-7B时,骁龙8 Gen 3每秒可以生成20个token,同样是手机终端侧最快之一。
(图注)高通产品管理高级副总裁Ziad Asghar
骁龙平台已经支持运行OpenAI、Meta、微软、安卓、stability.ai、BLOOM、百度、智谱、百川智能、有道等企业或机构的大模型,既为这些厂商将自身大模型能力「下放」到终端侧提供契机,也为用户体验生成式AI带来了丰富的选择项。
牵一发而动全身,随着高通在赋能大模型终端落地上的进一步动作,采用骁龙 8 Gen 3移动平台的手机厂商快速跟进,加速了大模型集成到手机的进程。
以首发搭载骁龙 8 Gen 3移动平台的小米14系列新机为例,AI大模型技术已经集成到小米全新澎湃 OS 中,并上线各种终端侧应用。有了大模型能力加持,小米14 支持了 AI 妙画、AI搜图、AI写真、AI扩图等多项功能,让输入法、WPS、相册焕发新的活力。
vivo旗下品牌iQOO 12系列同样搭载了骁龙8 Gen 3移动平台,全新高通AI引擎使其影像体验大幅升级,照片质感和细节拉满。同时该系列手机预装的 OriginOS 4系统引入生成式AI功能,AI助手蓝心小V可以进行超能语义搜索、超能问答、超能写作、超能创图、超能智慧交互,智能化程度明显提升。
此前在骁龙峰会上,荣耀CEO赵明宣布新旗舰手机荣耀Magic 6将搭载骁龙8 Gen 3移动平台,已支持70亿参数的终端侧AI大模型,为用户提供更加智能化的体验。他在现场演示了终端侧AI进行照片搜索、生成视频等智能操作,效果着实不错。
手机终端融合大模型能力催生了大量或好玩、或有助于提升生产力的生成式 AI应用。未来更加丰富的生成式AI应用会让更多用户切身体验到 AI的魅力,提升自身交互体验,这也正是高通致力于在终端侧打造生成式AI能力的重要源动力之一。
在持续利用AI赋能手机移动平台之外,高通也在寻求利用并把握好大模型及生成式AI的发展契机,以此来重塑PC行业,扩大自身在AI领域的领先优势。
生成式AI有了「第二阵地」
高通发布了面向PC 平台的全新处理器骁龙X Elite,它采用4nm制程工艺,集成定制的高通Oryon CPU,运行速度是英特尔 12 核处理器的 2倍,功耗比英特尔竞品低68%,高峰时段的运行速度比苹果M2快了50%。
如果这些参数还无法让你相信骁龙X Elite的强悍,那就跑个分吧。骁龙 X Elite 拥有两个版本:注重续航表现的 23W 版本、主打性能的 80W版本。Geekbench 6测试下的单核和多核得分情况如下图所示,单核性能尤为亮眼。
(图注)图源fonearena
同样地,骁龙X Elite专为AI打造。它采用业界领先的、集成高通Hexagon NPU的高通AI引擎,异构算力高达75TOPS,Hexagon NPU算力为45TOPS,为创意应用、视频会议和生产力助手的变革性体验提供了算力基础。高通 AI引擎还支持了大量的加速应用程序和体验,创造无限可能性。
超强生成式 AI 能力也成为骁龙X Elite的一大标签,截止到发布时,它已支持在端侧运行超过130亿参数的生成式AI模型,面向70亿参数大模型每秒生成30个token,AI处理速度是竞品的4.5倍。下图为PC端AI作画能力的展示。
从手机到 PC,多样化的端侧平台为释放生成式 AI能力提供了更多渠道。这也表明,高通在终端侧生成式AI落地这条赛道上继续「加码」,背后既离不开技术上的厚积薄发,也是其在大模型时代自身AI发展战略的延续。
手机、PC加速迎来全新AI时代
在当今大模型时代,终端侧部署生成式AI这条路线越来越明晰。基于此,高通秉持「混合AI是AI的未来」这一理念和战略,注重云端与终端的协同发展,并认为终端侧AI是扩展生成式AI至全球更广泛范围的关键。
遵循这一前瞻性认知,高通一步步积累,逐渐在自身布局中构建了强大、全面的终端侧AI能力,并引领了端侧大模型及生成式AI的革新与进步。毫无疑问,此次骁龙峰会上发布的骁龙 8 Gen 3、骁龙X Elite将进一步夯实高通作为终端侧AI领导者的地位。
(图注)高通全栈AI优化方案
如果大模型继续保持当前的落地步伐,我们将可以在手机、PC 甚至XR可穿戴设备、智能网联汽车等智能终端上体验到更多生成式AI应用,让人机交互更加自然且个性化。反过来,这些生成式AI应用以及带来的体验变革也将对这些终端设备产生深远影响,甚至改变它们的核心驱动力,重新定义它们。
我们以与人们日常工作、生活息息相关的手机为例,在追求绝对性能之外,人们越来越多地关注一些创意性应用。这就需要AI大显身手,生成式AI性能更是成为下一代手机处理器角逐的核心竞争力。
骁龙移动平台近年来持续发力于此也在意料之中了。从去年的骁龙8 Gen 2 到此次骁龙峰会上的骁龙 8 Gen 3,AI 早已无处不在,生成式 AI 一跃成为「AI 皇冠上的新明珠」,受到了广泛关注和青睐。
随着大模型及生成式AI在手机终端落地的范围越来越广、成熟度越来越高,我们或许可以看到:传统智能手机被生成式 AI 能力全方位加持的「AI 手机」所取代。小米等手机厂商新发布的旗舰机在这方面已经初具雏形,利用生成式AI增强一些场景的使用体验和效率,为未来颠覆手机的质变做好了充分的量变。
同时,PC 终端的革新也有类似向生成式 AI 能力倾斜的发展趋势。在这方面,集成到Windows 中的微软 Copilot是一个很好的例证。当然还有更多生成式AI变革人类与 PC 交互的场景和方式,借此实现更高效的智能协作、更简化的工作流程、更强大的生产力、更定制化的使用体验。
骁龙 X Elite 一出手便瞄准生成式 AI,势必会为当前的PC市场注入新鲜血液。在第六届虹桥国际经济论坛 ——「智能科技与未来产业发展」分论坛上,高通公司中国区董事长孟樸发表了主题演讲,认为下一代 PC 将进入一个全新的「AI PC」时代,以智能、高性能、高效等为特点, 并将对办公效率等方面产生重要意义。
相信未来高通会在骁龙 8 Gen 3 等移动平台和骁龙 X Elite等PC平台的基础上,继续加强自身在大模型和生成式AI上的基础能力。加之更多搭载这些平台的厂商发布全新旗舰手机和 PC 产品,他们不断增强的自主性及自研能力可以让我们期待更多样化生成式AI应用的亮相。
不过,在「AI 手机」和「AI PC 时代」真正到来之前,还要看生成式AI能力是否能让用户产生强烈感知、是否能准确满足他们的需求、是否能对相关应用产生依赖性、以及是否能带动他们换机的欲望,这些都是高通和手机厂商现在及未来要考虑的问题。
结语
自发布以来,骁龙 8 Gen 3、骁龙X Elite展现出的强大生成式AI能力留给人们无限的想象空间。 正如高通公司总裁兼 CEO 安蒙所言,「我们正在进入将改变用户体验的生成式AI时代,也将创造一个移动行业和计算行业的全新周期。」
在这一进程中,作为终端侧领导者的高通正担负起应有的时代角色。一方面,利用自身强大的全栈AI优化能力汇聚软硬件各方,助力终端侧AI生态快速发展;另一方面,全新的跨平台技术「Snapdragon Seamless」实现安卓、Windows 和其他操作系统无缝衔接,这种多终端体验有望将 AI在手机、PC 等终端上的落地进一步拓展开来。
可以预见,基于骁龙生态的AI体验会非常快速铺展开来,各种应用落地的速度也将大大加快。未来,高通将继续保持自身在终端侧AI的技术优势,推动大模型在部署应用时更便捷、更丰富、更有吸引力。同时,携手各大厂商创新基于大模型的生成式AI应用,降低普通用户使用生成式AI的门槛。
随着新的生成式AI时代开启,高通是否能持续满足人们的期待,我想这次骁龙峰会已经给了我们答案。
(文章转载自机器之心公众号)
图片
-
祖国我爱你手抄报内容30字(
清风头条丨祁阳市:铁拳出击
好邻居房产中介总部电话 好
-
福建集中签约1222.8亿元 最
深圳韦博口腔医院正规吗?本
初中生穿越古代的电视剧(初
广东省阳江市2023-09-08 20
公安部a级通缉令什么意思,
开学法治第一课 聚焦“暗网”
-
令人心动的社团——近八成受
晶晨股份:第二代Wi-Fi蓝牙
农村集体经济组织财务管理应
暴雨+山洪+地质灾害三预警齐
东南亚的汽车圈,一场中日对
华为Mate 60官方手机壳实物
-
云南省公务员考试专题信息网
9月1日,武汉经开区一批新的
超强台风“苏拉”来袭,广东
三台风“纠缠”,“海葵”九
近期好价,入手中兴远航40Pr
曼联旧将科尔:奥纳纳的出球
精彩推送
- 0.6秒!手机跑Stable Diffusion创下最快速度,而这仅仅是开始
- 心血管病专家胡大一实名举报北大医院霍勇 被举报人:胡说八道
- 对话邱德光,法国国宝级品牌TRECA崔佧床垫设计论坛精彩不断
- 新疆伊犁州党委常委、组织部部长李荣年一行到玉湖冷链考察
- 从生态到好酒,从好酒到老酒,舍得做了什么?
- Oakhill:肯特郡的奢华生活体验
- 在明律师闫会东:在为被拆迁人“代言”中感受法治进步
- 为什么说第三代骁龙8才能叫旗舰手机 重点在后面
- 邀约路演、秘密交表,Shein冲击900亿美元估值
- 《新生代妈妈奶粉选购白皮书》重磅发布:超九成妈妈青睐这款新国标奶粉!
- 现场签约额破3亿, 2023悦享客溯源考察行暨经销商大会圆满落幕!
- 白象中国面冠军体验官易建联做客白象食品直播间
- 开创合资合作新局面 东风汽车有限公司发布新战略“启DNA+”
- 北京专家汇聚龙城中医医院,免费为肝病患者义诊
- 发挥“主场”优势 东风科技成果闪耀2023中国国际商用车展
- 峰铭通集团 四周年庆典暨共赋联盟全国启动大会顺利召开
- 骁龙证明自己成为面向生成式AI的首选平台
- “真补贴”撩动大众,抖音超值购万人团双十一引爆全域高势能
- 去年超神的安卓顶配,果然又神了!
- 珠海国际会展中心二期盛大启幕 为珠港澳会展业增添新引擎
- 深化改革出实招 东风公司实施“双目标”刚性考核机制
- 这个冬天,UC浏览器送你宅家“快乐大餐”
- 再赴“中国之约” 东风公司连续第六年参展进博会
- 聊聊手机PC市场新变化 AI大战、生态比拼是关键
- 亮相2023进博会,金领冠携最新母乳研究成果闪耀世界舞台
- 为什么旗舰手机都用骁龙8Gen3?看不到的细节也太多了!
- 共建“一带一路”,英耐助推中国企业国际化
- 吉宝核心基础设施基金以5.75亿美元成功完成首次集资
- 制胜新赛道 东风智能新能源品牌SHOW暨eπ品牌发布会即将启幕
- 雷神动力连续十年蝉联“中国心”十佳发动机及混动系统
- 东风公司实施新能源“跃动工程” 成立研发总院
- 屈臣氏携帕梅拉演绎健康新美学 千人健康操尽情释放多巴胺
- 50岁女教师罹患结肠癌 治疗2年仅自费三百元
- 头部企业共同首选,万物梁行武汉区域“点亮城市”
- 飞宇稳定器新品齐上阵,双十一享全年底价优惠!
- 撒贝宁暖居Party倒计时!海信激光电视到底有多“够意思”?
- 48小时极限AI创新:年轻创业者在阿里云计算底座上构建AI新世界 | Create@AI创客松
- 高校校办企业国有资产监管面临挑战:重构监管保障机制
- 以大数据转型推动国家审计高质量发展
- 为创新成长提速—「阿里云创业者计划」云栖大会专场活动圆满举行!
- 统一低碳新里程碑—中国首张可持续采购体系认证20400
- 构建脱碳共同体 统一绿色低碳供应联盟成立
- 赛迪报告发布,明朝万达连续多年位列数据安全产品市场份额前三!
- 玉湖冷链携手产教各方组建「粤港澳湾区农产品智慧冷链行业产教融合共同体」
- 玉湖集团董事局主席黄向墨出席「跨国公司长沙行暨高端产经对接会」
- 玉湖冷链受邀参加2023中国(广元)物流产业发展大会
- 抖音商城以内容+货架场景,撬动秋冬户外「野行」心智
- 启新址 征新程 | 北京在明律师事务所第二办公区正式启用
- 第四届中央企业熠星大赛复选赛贵阳启动 东风公司践行央企担当承办新能源汽车赛道
- 以内容场+货架场加速口碑沉淀,抖音商城解锁运动品类圈层突围
- 把人才培养放在首位——北京在明律师事务所构筑督导律师团队制
- 吉宝荣获第四届IFF全球绿色金融奖
- TCL,敢为科技攀登
- 香港长青集团海推联盟官方邀请码
- 科技创新撬动发展活力 “东风岚图速度”获《人民日报》关注
- 本届骁龙峰会 最强CPU、最强终端侧生成式AI是亮点
- 高通安蒙谈如何持续推动创新 企业合作是秘诀
- 创新科技,驱动未来|弗兰德智能驱动一体机惊艳亮相国际煤炭展
- 创新科技集大成者 方太两款年度重磅新品亮相
- 上海家化发布Q3业绩:保持战略定力,稳步推进高质量可持续发展
- 中国食品科学技术学会第二十届年会召开 金领冠科研成果获关注
- 第三代骁龙8发布,支持100亿参数生成式AI
- 高通通过终端侧AI领先技术 增强骁龙本、手机和耳机体验
- 高通新技术推动不同品牌、系统的手机电脑耳机无缝协作
- 高通自研PC平台骁龙X Elite发布 高性能低功耗强AI
- 预购爆了!正泰居家线上线下多渠道共振,迎战双十一
- “小葡萄,酿好酒”宁夏第一酒庄长城天赋——荒滩上孕育出紫色奇迹
- 国家电网有限公司荣膺中经能源企业卓越贡献奖
- Honda在华企业联合植树造林工程再增1,000亩
- 仪征万腾复合材料:二十年耕耘立品牌,创新求变谋发展
- 科技创新打开发展新天地,东风公司向新赛道突飞“猛”进
- 筑梦天鹅计划,中芭艺蕾示范基地“行动芭”公益芭蕾课堂开课!
- 安溪科技金融高端对话暨项目对接会圆满举行
- 决胜双11货品预售!一文掌握阿里妈妈助力商家货品快速打爆绝招!
- 封藏一坛陶香,仰韶开启一场文化溯源之旅
- 重庆店盛大开业!汽车之家空间站全面进入2.0时代
- 第十二届中国创新创业大赛2023新型显示 产业技术创新专业赛已经开启新赛程
- 优贝童车亮相2023上海玩博会
- 著名经济学家陈湛匀教授:经济增长模式+数字经济+CVC模式赋能企业
- 聚焦中国市场,2023 LINE FRIENDS授权大会盛大召开,焕新拓宽IP矩阵及线下体验业态
- 求索合资发展新路径 中法股东公布支持神龙长期稳定发展重要安排
- 经济运行逐步复苏精密机械机加工行业全面复苏
- 15组创作达人齐聚飞宇科技,稳定器新品提前曝光?!
- 223家国际展商!三万余种商品!2023首届海南国际热带食材供应链博览会圆满闭幕
- 惠民保障再升级!医惠锡城2024正式发布
- 共建乳业共同体 加速犇向“世界牛” ——蒙牛全面打造“一带一路”乳业标杆
- 国为母线槽挑战欧美三巨头——中国品牌的自强之路
- 周末万人疯抢,抖音超值购万人团以“双向奔赴”为题从电商赛道突出重围
- 追求内生品质,无畏变化|箭牌家居斩获2023年度金麦品质奖
- 大美仰韶,奏响乐章!“2023仰韶彩陶坊之夜——洛阳群星演唱会”激情开唱
- 蒙牛创投基金投资孵化中国HMO黑马企业
- 大国力支撑强后盾,硬实力铸造成功基石,蒙牛HMO实现大突破
- 蒙牛创投基金投资孵化企业,获批中国唯一本土HMO原料
- 中老共建“一带一路”的“亚钾故事”
- 双11商家已全面应用AI技术!阿里妈妈两大AI投放产品等能力服务百万商家!
- 全球精品汇聚海南热带食材链接国际2023首届海南国际热带食材供应链博览会盛装开幕
- 屈臣氏「潮玩妆造区」惊喜亮相 开启一站式美妆新体验
- “骁龙X”系列解析:不止新命名,更是高通的新希望
- 2023中国海洋装备博览会10月12日在福州开幕
- 对话在明律所:全国化、高质量服务,为当事人持续创造价值