一场天玑开发者大会,看尽联发科对生成式 AI 时代的野望

2024-05-14 09:01IT之家 - 汐元

2022 年 11 月,ChatGPT 轻轻振动蝴蝶翅膀,为全球带来了一场生成式 AI 的技术革新风暴,如今,千行百业都在被 AI 改变甚至颠覆。

随着生成式 AI 从发展迈向应用,端云结合将成为主流的部署模式,特别是端侧生成式 AI 的发展正越来越受到重视。让用户可以从终端侧不联网就能获得多数基于生成式 AI 的服务,成为很多企业的愿景,而目前人们使用最高频的智能手机,无疑就是端侧生成式 AI 的第一突破口。

因此,眼下“AI 手机”正成为整个行业无法绕过的发展方向。不过不可否认的是,AI 手机仍处在早期发展阶段,AI 究竟会如何改变智能手机,还有很多问题亟待探索。

5 月 7 日,联发科以“AI 予万物”为主题举办了天玑开发者大会 2024(MDDC 2024),透过这场大会,IT之家看到了关于生成式 AI 手机诸多未知的回答,更看到了作为端侧生成式 AI 最早探索者之一的联发科,是如何在风暴中完成从技术引领到生态革新的角色升级的。

生成式 AI 推动智能手机产业迈进,未来已在眼前

尽管“生成式 AI 手机”的时代尚未真正到来,但好消息是,生成式 AI 已经能为智能手机市场带来正面的影响。

根据 IDC 最新的季度报告,2024 年第一季度,中国智能手机市场出货量约 6,926 万台,同比增长 6.5%,延续去年底反弹势头,且市场表现高于预期。

同时 IDC 预测,2024 年全球智能手机销量将达到 11.97 亿台,同比增长 2.77%,2028 年全球智能手机销量将达 13.03 亿台,5 年 CAGR 将达到 2.27%。

智能手机市场将迈向一个新的增长周期,而生成式 AI 手机的普及,就将是这轮新周期的主要推动力之一。

联发科在这次天玑开发者大会上联合 Counterpoint 与众多生态合作伙伴发布的《生成式 AI 手机产业白皮书》对生成式 AI 手机做了定义:利用大规模、预训练的生成式 AI 模型,实现多模态内容生成、情境感知,并具备不断增强的类人能力。

同时,生成式 AI 手机需要具备支持大模型的本地部署、提供自然的交互方式、多模态内容输入与输出以及拥有实现上述特征的硬件规格 4 个特征。

而根据 Counterpoint 的数据,2023 全年出货的 11.7 亿手机中,只有不足 1% 的手机满足生成式 AI 手机定义。2024 年,生成式 AI 手机将开始普及,预计 2027 年渗透率会达到 43% 左右。Counterpoint 预计生成式 AI 手机存量规模将会从 2023 年百万级别增长至 2027 年的 12.3 亿部。

可见,生成式 AI 手机未来有非常巨大的想象空间,而这样的想象空间,需要整个行业从现在开始一点一点地发展、建设。

所谓“九层之台起于累土”,只是这土该怎么“累”?换句话说,生成式 AI 手机的技术、生态、应用和市场该如何建设,才是当下最关键的问题。

而要回答这个问题,我们首先需要清楚生成式 AI 手机发展目前呈现出来的特点、趋势以及面临的问题。

而通过参加本次天玑开发者大会 (MDDC 2024),IT之家也做了一些总结。

  • 端云结合将是生成式 AI 部署的主流模式,同时,端侧部署生成式 AI 具有低时延、安全隐私、个性化和自由度高等独特的优势。

  • 多模态能力将是实现生成式 AI 手机愿景的关键,它将为 AI 手机开启全新交互体验,并在更远的未来推动 AI 智能体的成长。

  • 多模态的趋势下,端侧部署更大规模的大语言模型(LLM)将成为必然,从而让参数规模快速增长,对生成式 AI 手机的算力、性能将是一个巨大挑战。

  • 对于开发者而言,在端侧部署生成式 AI,目前还面临终端硬件多样、大模型移植到终端运行难度大、开发工具链缺乏,应用开发难度大等问题。

推动生成式 AI 手机产品和应用生态的发展,离不开以上四个方向的关注点。联发科想要实现生成式 AI 终端普及、构建 AI 新生态愿景,也必须沿着这些方向,逐步升级技术和产品,与产业链合作,逐步解决行业在硬件、软件和应用生态方面存在的问题。这将是一个长期的过程。

从技术引领者到产业变革者,联发科角色全面升级

说到长期,其实联发科之于 AI,也已经是一个长线的布局和投入。

2016 年,AlphaGo 在与围棋世界冠军李世石的对决中一战成名,让人们惊觉 AI 的强大,而联发科也开始了对 AI 的投入。

2018 年,联发科在 Helio P60 SoC 中首次内建了多核心人工智能处理器 APU,主要用于手机拍照、人脸识别场景。

2019 年,第一代天玑芯片天玑 1000 问世时,其新一代 APU 加持的 AI 性能就在苏黎世 AI Benchmark 跑分榜单上冲到第一。

……

可以看到,联发科很早就开启了对端侧 AI 领域的投资和布局,可以说是端侧 AI 技术最早的引领者之一。正是如此长期积累的 AI 技术深厚功底和丰富经验,让联发科能够在生成式 AI 时代快人一步,提前迈向自我竞争级别的提升。

我们知道,生成式 AI 时代,联发科这样的头部芯片设计公司将发挥比过去更加重要的作用,他们不再是过去仅在技术层面上引领者,而是要成为助力行业构建从芯片设计到大模型,再到工具链的全局解决方案的赋能者。

就像联发科无线通信事业部生态发展资深总监章立在采访中表示,百川智能 CEO 王小川曾说,做搜狗的时候从来不见芯片公司,做了大模型不得不见。这是 AI 时代很重要的表现,开发者能实现生成式 AI 的技术创新,将离不开芯片公司的支持。

其实早在 Helio P60 推出时,联发科就配套提供了 NeuroPilot 软件开发工具套件,让开发者能够基于该平台轻松将各种创新的 AI 应用推向市场。这些年来,联发科已经凭借 NeuroPilot AI 开发平台构建了不错的 AI 生态。

生成式 AI 爆发后,联发科也第一时间将生成式 AI 技术引入到天玑 9300 旗舰移动平台,第七代 AI 处理器 APU 790 就是专为生成式 AI 而设计,支持终端运行至高 330 亿参数的 AI 大语言模型,还通过先进的硬件压缩技术 NeuroPilot Compression,大幅减少 AI 大模型对终端内存的占用,让生成式 AI 在端侧流畅运行。

不仅如此,联发科在行业首次将生成式 AI 技术引入到中端移动平台天玑 8300 上,至高支持 100 亿参数 AI 大语言模型,推动了生成式 AI 向更广泛的消费市场普及。

联发科还在大模型方面发力,在今年 3 月推出了名为 MR Breeze-7B 的全新开源大语言模型(LLM),尤其擅长处理擅长处理繁体中文和英文。

此外他们还在大模型在终端落地方面积极和模型厂商合作,比如今年 3 月底联发科就和阿里云通义千问达成深度合作,在天玑 9300 移动平台上完成通义千问大模型小尺寸版本的端侧部署,更早之前联发科还和百度联合发起飞桨和文心大模型硬件生态共创计划,共同推进联发科硬件平台与飞桨和文心大模型的适配,实现大模型在端云的协同工作。

而本次天玑开发者大会,联发科让我们进一步看到了在生成式 AI 产业生态革新方面更全面更深入的角色升级和转变。

我们还是回到前面谈到的四个点,生成式 AI 端侧部署和多模态交互越发重要,对硬件侧的性能和算力提出了更高的要求,因此,联发科在本次天玑开发者大会上特别发布了全新天玑 9300 + 旗舰 5G 生成式 AI 移动芯片,延续了全大核 CPU 架构,官方宣称其率先在端侧支持 AI 推测解码加速技术,同时支持天玑 AI LoRA Fusion 2.0 技术,提供更高效和个性化的生成式 AI 体验。此外,天玑 9300+ 支持前沿主流的生成式 AI 大模型,可为用户提供文字、图像、音乐等端侧生成式 AI 多模态创新体验,为生成式 AI 的应用奠定了基础。

不夸张地说,天玑 9300 + 是专为完善终端侧生成式 AI 体验而作的升级,它在生成式 AI 的计算能力、大模型性能以及技能扩展能力等方面,为生成式 AI 手机时代的到来在“终端”这个层面进一步夯实了基础,同时也是天玑 AI 生态战略“芯片、模型、应用”中关键的“地基”环节。

在芯片基础之上,联发科在本次天玑开发者大会上还推出了全新“天玑 AI 开发套件”,它的出现,可以解决开发者在打造生成式 AI 应用时面临的终端硬件多样、工具链缺乏等让人头疼的问题。

天玑 AI 开发套件包括快速高效的 GenAI 最佳实践、覆盖全球主流大模型的 GenAI Model Hub、高效提升性能的 GenAI 优化技术和 Neuron Studio 一站式视觉化开发环境等四大模块,为广大开发者提供“快、全、强、易”的专业开发体验,赋能终端生成式 AI 应用开发全流程。

如果说芯片是土壤,应用是在土壤上开出的花朵,开发者就是建设生态的原定,这个过程中工具的重要性不言而喻。而目前在端侧生成式 AI 领域中的工具链非常匮乏,尤其在手机端,如此大体量的消费终端中其实是没有工具链来发展生成式 AI。而随着“天玑 AI 开发套件”的推出,联发科率先成为在手机端提供完整生成式 AI 工具链的企业,而且不仅是手机端,还覆盖了其他消费终端,这对于整个终端侧生成式 AI 行业来说无疑也具有开创和引领的意义。这样的开发环境,更会大大激励开发者们利用这些工具打造丰富而极具创意的生成式 AI 应用。

而为了进一步赋能开发者,推动整个应用生态往生成式 AI 迁移,联发科还在本次大会上联动阿里云、百川智能、传音、零一万物、OPPO、荣耀、vivo、小米等合作伙伴共同开启了“天玑 AI 先锋计划”。

该计划面向全球开发者,致力于整合联发科与产业生态伙伴资源,为勇于探索和创新的开发者提供开发资源、技术支持和商业机会,助力开发者在搭载天玑芯片的终端设备上打造创新的生成式 AI 体验,加速万物 AI 时代的到来。

作为芯片解决方案提供商,联发科站在生成式 AI 生态万千交叉路口的关键节点上,因此天然被赋予了生态连接者和赋能者的使命。无论是上游的模型,还是下游的终端、应用厂商,都需要通过芯片提供商的连接,形成生态合力。而“天玑 AI 先锋计划”就为整个生成式 AI 生态凝聚力的呈现提供了契机,它将整个生态中不同的参与者聚集在一起,让大家共同探索,寻求共识,共同推动生态发展。只有这样,生态才能持续成长、扩展,从而更快地推动爆款应用的出现。

从这一角度看,联发科作为连接者和赋能者的关键意义展露无疑。

而所有这些努力,目前已经取得了一些成果,比如在本次天玑开发者大会上,我们就看到联发科和阿里云通义千问、Cocos、Honor of Kings、虎牙直播、酷狗音乐、美图、全民 K 歌、腾讯 AI Lab、小红书等数十家生态伙伴一起展示的全场景、精彩的生成式 AI 应用。

在大会展示区,IT之家也对这些应用做了体验,比如酷狗音乐利用联发科天玑 9300 端侧生成式 AI 能力打造的歌词生图功能,可以根据歌词生成个性化的播放器背景图和专辑封面图。

还有抖音将多款 GAN 实时特效带到了联发科天玑平台上,包括让抖音最复杂的 AI 模型能够流畅出色地跑在天玑 APU 上,让用户的视频创作更加充满趣味。

星速追光,天玑游戏体验再升级

除了上面这些丰富的硬件、软件应用生态,还有一个特殊的应用类型也是联发科重点关注的场景,就是游戏。联发科无线通信事业部副总经理陈一强在谈到和 Arm 的合作时表示,游戏是 AI 最好的实现场景,因为游戏是独立完整的自己的场景,可以提供更多的试错空间,并且因为它是娱乐内容,很多东西都是想象的空间,现在 AI 是完全在满足这个需求。所以联发科用多年来和游戏开发者合作的经验赋能 Arm GPU IP 的规划,满足顶尖的游戏开发者,去赋能做游戏内容的能力。

当然,以 AI 赋能移动游戏不是一蹴而就的事情,但本次开发者大会,联发科也宣布专门针对移动游戏体验的星速引擎迎来全面升级。

全新升级的星速引擎可以借助自适应技术软件开发套件和硬件光线追踪技术,通过精准的性能管理、光线追踪效果优化、网络质量监测等关键技术,助力游戏开发者打造画面更逼真、流畅,触控和网络响应速度更快,续航更持久的优质体验。

此外,联发科还积极与 Arm、Google、Khronos,以及 Unreal Engine 团队在内的产业合作伙伴共同进行前沿技术的探索,持续赋能高速拓展的天玑游戏生态圈,让更多开发者基于天玑移动平台对游戏体验的变革和创意能够深入到游戏内容和玩法层面,从而带来更具沉浸感的体验。

结语

总体来说,本次联发科天玑开发者大会的召开,一方面为生成式 AI 手机在定义、技术规范统一、生态建设等方面的问题做出了适时的回答,同时更引领了移动生态基于生成式 AI 的关键革新。

这是联发科首次召开天玑开发者大会,也首次让我们看到联发科对于生成式 AI 手机在技术、产品、生态等环节全链路的布局与投入。他们正在引领全生态迎接生成式 AI 手机的到来,并且为生态伙伴和开发者提供了一系列的解决方案,比如天玑 9300 + 为端侧生成式 AI 提供了最强的硬件支持,而天玑 AI 先锋计划的启动,也让我们看到联发科对于引领移动 AI 生态昂扬向上的决心和对开发者的诚意。

而通过这些努力,联发科将整个生成式 AI 产业生态伙伴的力量融合、集结了起来,然后高效地赋能开发者,加速建构从云端到终端的 AI 新生态,大大促进了生成式 AI 技术在智能终端上的普及和发展壮大。

也许,“生成式 AI 手机就要用天玑”,在不远的未来,就会成为一个新共识。

下载《生成式 AI 手机产业白皮书》:点此

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

文章价值:
人打分
有价值还可以无价值
置顶评论
    热门评论
      文章发布时间太久,仅显示热门评论
      全部评论
      一大波评论正在路上
        取消发送
        软媒旗下人气应用

        如点击保存海报无效,请长按图片进行保存分享