MWC 2024:高通推出全新 AI Hub,助力 AI 推理速度最高提升 4 倍

2024-02-26 16:22IT之家 - 汐元

IT之家 2 月 26 日消息,2024 年世界移动通信大会已经拉开序幕,今年的 MWC,5G 和 AI 仍然是最受关注的话题。比如高通就在今天的 MWC 发布活动中正式推出了全新的高通 AI Hub,为开发者打造获取开发资源的中心,从而可以基于骁龙或高通平台打造 AI 应用。

具体来说,高通 AI Hub 可以为开发者提供全面优化的 AI 模型库,包括传统 AI 模型和生成式 AI 模型,能够支持在骁龙和高通平台上进行部署。开发者只需选择应用所需的模型以及其开发应用所使用的框架,然后确定目标平台,例如一款特定型号的手机、或者一款特定型号的高通平台,完成这些后,高通 AI Hub 就可以为开发者提供面向其指定应用、指定平台进行优化的模型,开发者只需要几行代码就可以获取模型,并将模型集成进应用程序。

高通 AI Hub 将支持超过 75 个 AI 模型,包括传统 AI 模型和生成式 AI 模型。通过对这些模型进行优化,开发者运行 AI 推理的速度将提升高达 4 倍。

不仅是速度提升,优化后的模型占用的内存带宽和存储空间也将减少,从而实现更高的能效和更持久的电池续航。

这些优化模型将在高通 AI Hub、以及 HuggingFace 和 GitHub 上提供,让开发者能够将 AI 模型便捷地集成到工作流中。

除了全新的 AI Hub,高通还在活动中展示了全球首个在搭载第三代骁龙 8 的安卓手机上运行的多模态大模型(LMM)。在这一演示中,高通展示了一个超过 70 亿参数的 LMM,其支持文本、语音和图像输入,并能够基于输入的内容进行多轮对话。

同时高通还在搭载全新骁龙 X Elite 平台的 Windows PC 上,带来了另一个多模态 AI 的演示。这是全球首个在 Windows PC 上运行的音频推理多模态大模型,它能理解鸟鸣、音乐或家中的不同声音,并且能够基于这些信息进行对话,为用户提供帮助。

例如,多模态大语言模型能够理解用户输入的音乐类型和风格,为用户提供音乐的历史以及相似的音乐推荐,或通过对话的方式为用户调节周围的音乐。

这些模型都经过优化,能够实现出色的性能和能效,并完全在终端侧运行,增强隐私性、可靠性、个性化以及成本优势。

还有就是,高通还展示了他们首个在安卓手机上运行的 LoRA 模型。LoRA 能够在不改变底层模型的前提之下,调整或定制模型的生成内容。通过使用很小的适配器(大小仅为模型的 2%,便于下载),就能够个性化定制整个生成式 AI 模型的行为。

例如在演示中,模型能够根据不同个人或艺术偏好创建高质量自定义图像。高通表示这一技术不仅能够运用于图像生成,也可以应用于大语言模型等多种生成式 AI 模型,是实现个性化生成式 AI 的高效方式。

MWC 2024 世界移动通信大会专题

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

文章价值:
人打分
有价值还可以无价值
置顶评论
    热门评论
      文章发布时间太久,仅显示热门评论
      全部评论
      请登录后查看评论
        取消发送
        软媒旗下人气应用

        如点击保存海报无效,请长按图片进行保存分享