关于高通骁龙移动平台的AI Engine人工智能引擎,其实IT之家在此前多篇文章中也曾为大家详细介绍过,例如《骁龙芯片AI性能霸榜,高通的强大生态实力不止于此》一文中,IT之家就为大家介绍了高通AI Engine人工智能引擎的来龙去脉。
简单来说就是涉及到人工智能的AI运算和传统CPU、GPU负责的整数、浮点运算不同,CPU、GPU自己很难搞定,运算速度慢,所以需要专门针对AI运算的功能模块。
这个功能模块可以是专门的AI芯片,也可以是一种整合CPU、GPU等运算资源的功能机制,让SoC更适合处理AI运算,而高通的AI Engine就属于后者。
具体来说,AI Engine人工智能引擎就是就是协调好CPU、GPU和DSP(Hexagon处理器)三种核心的工作内容。
CPU、GPU和DSP(Hexagon处理器)这三种核心各自擅长不同的运算,其中,CPU擅长逻辑控制与串行运算,GPU擅长大规模的并行运算,Hexagon处理器擅长多线程与平行运算,而DSP中的Hexagon张量加速器特别擅长高开销等级的矩阵乘法运算。
AI运算需要融合传统的高性能串行计算和新兴的并行运算,在智能手机这种移动终端中也包含大规模的乘法运算,所以高通骁龙这种异构运算的思路非常契合深度学习的运算需求。
高通在2015年骁龙820处理器上就已经引入了第一代AI Engine,当时叫Zeroth,经过这些年的发展,到目前第五代AI Engine,其无论是AI算力还是AI生态方面都有了巨大的提升。
具体来说,高通骁龙第五代AI Engine人工智能引擎架构由Kryo 585 CPU、Adreno 650 GPU、新一代Hexagon 698处理器、Spectra 480 ISP、高通传感器中枢(Sensing Hub)、安全处理单元、调制解调器,甚至Quick Charge等模块组成,在他们的支持下,第五代AI Engine的AI能力才能实现大跃进。
先看看最重要的三个模块:CPU、GPU和张量加速器Hexagon。其中,骁龙865的Kryo 585 CPU的性能相比上代提升了25%,能效提升25%,而Adreno 650 GPU的性能相比上一代也提升了25%,能效提升了35%;新一代张量加速器Hexagon 698 的TOPS性能是前代张量加速器的4倍,运行能效提升35%。
综合起来,骁龙865移动平台的第五代AI Engine的AI性能相比上一代提升了2倍多,具体到体运算力上,可以达到15TOPS,也就是每秒15万亿次运算的水平。
这种AI算力是相当惊人的,也是第五代AI Engine能够帮助智能手机完成更多AI功能的直接支撑。
不仅如此,在第五代AI Engine中,传感器中枢让终端能够以极低功耗感知周围情境,高精度语音侦测确保语音助手能够清晰准确地接受用户指令,而增强的始终开启的传感器和智能声音识别进一步将情境感知AI提升至全新水平。
这意味着什么呢?这意味着,在第五代AI Engine的帮助下,IT之家在文章开头对智能手机的期待的场景,真正有机会成为现实。例如手机怎么知道我即将要开会而自动进入静音模式?关键的一点就是需要能够始终感知我的语言以及周边环境,理解到我下面要进入会议室了,所以就会自行进入静音模式。
高通第五代AI Engine让我们看到这种智慧的能力并不是不可实现的。而在发布骁龙865移动平台时,高通也演示了第五代AI Engine提供实时语音翻译功能的支持,我们接下来也会讲到。
高通第五代AI Engine还支持深度学习带宽压缩技术,可以实现高达50%压缩比的无损压缩,配合全新LPDDR5所带来的30%的带宽提升,可以进一步AI处理能力。
还有就是,高通在第五代AI Engine上也对神经处理SDK、Hexagon NN Direct和AI Model Enhancer工具进行了升级,可以帮助开发者以极高的自由度和灵活性打造更快响应、更智能的应用。
可以看出,骁龙865移动平台的第五代AI Engine是AI能力全面升级的一代,在它的加持下,智能手机又将朝着真正的“智能”更进一步,并获得过去我们无法想象的AI能力。接下来,我们不妨就以最近推出的搭载骁龙865移动平台的智能手机为例,实际感受一下第五代AI Engine为智能手机带来的改变。
在这一部分,我们将体验几款骁龙865新机中和AI相关的功能,感受第五代AI Engine可以支持智能手机实现让我们怎样耳目一新的AI功能。
首先是AI翻译的功能。翻译在智能手机上是一个很常见的功能,例如语音翻译、图片识别翻译等等,它需要智能手机拥有一定的AI运算的能力,特别是在语音识别和图片识别的时候,要用到语音和视觉神经网络的运算,听起来好像已经是一项不错的AI应用了。
但是,之前智能手机上的翻译,都是“命令式”的,例如语音翻译,手机需要先识别一句话完整的意思,然后处理,然后才给出翻译结果,不能做到现实中真人翻译那样的实时翻译。
而现在,革新的时刻来了,在第五代AI Engine的支持下,智能手机也能像真人一样实时翻译了!
我们以vivo 在3月10日推出的NEX 3S手机上的翻译机功能为例,打开手机上自带的《翻译机》App,点击右下角的语音标识,可以进入语音翻译的界面。
然后在“对话”的栏目中,点击下方的英语按钮,就可以实时将英语语音翻译成中文。
IT之家在这里播放了一条英语的语音,让vivo NEX 3S进行实时的语音翻译,大家可以看一下这个过程:
可以看到,vivo NEX 3S真的是在对一段语音进行实时翻译,并且最终翻译的结果能够让人满意,至少可以让人大概看懂这段英语语音讲的是什么内容。
同时,有一个细节值得关注,就是vivo NEX 3S在实时的翻译过程中,还会不停地根据前后文的语义来调整翻译的结果。例如“冠状病毒”,虽然在视频中最后被翻译成了“电晕病毒”,但是在实时翻译的过程中,系统确实曾将之纠正为正确的“冠状病毒”,由于IT之家播放的是一段不完整的语音,所以当语音暂停时,翻译的结果又变成“电晕病毒”。
相信无需IT之家多说,大家也能感受到vivo NEX 3S背后强大的AI能力。实时翻译,它需要模拟人脑的思维方式,实时处理接受到的语音信息,并将之翻译为文本或语音,这个对神经网络运算的运算量、速度都有极为严苛的要求,需要极为强大的算力支撑,更何况还要实时根据上下文调整翻译的结果。
而正如前文所说,高通第五代AI Engine高达15TOPS的算力恰恰能够支撑如此庞大的AI运算需求,再加上传感器中枢对周围环境的感知,以及高精度语音侦测技术的加持,这也是vivo NEX 3S能够做到实时翻译级别的根本原因。
当然,除了实时语音翻译,vivo NEX 3S的翻译机功能还支持图片翻译,IT之家也进行了简单测试,以一张报道高通骁龙移动平台的英文报道截图为例,vivo NEX 3S可以快速将英文翻译成中文,并且成文具有一定的可读性。
说完了翻译功能,我们再看看游戏。
对于智能手机来说,游戏是一项比较吃性能的任务,需要CPU和GPU都具有较高的性能,而要想游戏运行始终如一地流畅,就需要合理地调度CPU和GPU的工作负载了。
经过上面的介绍,你可能会想到,这不正是高通AI Engine在做的事情吗?没错,高通AI Engine可以通过智能调度CPU和GPU工作时的性能资源,来让游戏始终保持在高帧率、高流畅度的状态。
在游戏环节,我们用努比亚红魔5G游戏手机进行测试,在最高画质下玩10分钟的《和平精英》,游戏过程丝滑流畅,测得平均帧率为59.7fps。
通过性能测试软件,IT之家看到了红魔5G游戏手机在运行《和平精英》时CPU、GPU的调度情况:
在游戏过程中,红魔5G游戏手机主要调动的是三颗最高主频2.4GHz的A77性能核心和四颗最高主频1.8GHz的A55效率核心,其中A55效率核心一直稳定输出,而A77性能核心则会根据游戏场景的需要反复波动,与最高主频2.84GHz的A77超级核心相互配合,从而让游戏体验一直稳定。
再看GPU,性能输出相对比较稳定,主要在400MHz的水平。同时可以发现,当游戏进行到复杂场景时,GPU和CPU核心会共同冲高,主要在游戏开始载入和快结束的时间段。
从CPU和GPU的调度图中,可以清晰看到骁龙865移动平台的第五代AI Engine对两者性能实时、合理的调度,正式因为这种将CPU和GPU拧成一股绳的智能调配机制,才让整个游戏测试过程中帧率能够一直保持稳定。
事实上,除了智能调度CPU和GPU,第五代AI Engine在游戏场景中能做到的还有更多。IT之家还是以红魔5G游戏手机为例,在AI Engine的支持下,它可以实现一些特殊的玩法,例如游戏智能插帧和游戏变声等。
首先,红魔5G游戏手机支持Touch Choreographer游戏插帧算法,该算法是在AI的加持下实现的,在红魔5G的AI功能设置中有次介绍。目前支持Touch Choreographer游戏插帧算法的游戏有很多,《巅峰战舰》就是其中之一,IT之家就这款游戏进行了体验。
红魔5G的屏幕刷新率可以高达144Hz,因此游戏插帧也可以插到144fps,在《巅峰战舰》游戏中可以进行设置。
游戏过程中,IT之家用性能测试软件进行了帧数捕捉,从数据上看,游戏过程中的平均帧率可以达到141.5fps,由于是插帧技术,帧率波动大的时候可以达到9帧左右,不过由于本身已经是如此高的帧率,这种波动在游玩过程中是丝毫察觉不到的。
从帧率变化的图赏,我们可以看到AI Engine不停尝试调节游戏帧率的过程,当帧率下滑时,立刻能够补上去,实际的游戏效果也是非常顺滑,可以用“饱满”来形容。
关于游戏变声,IT之家则用《王者荣耀》进行了测试,大家可以通过下面的这段短视频感受一下:
实际变声的效果类似QQ上的语音变声功能,小编从男声变成女声,效果平滑自然。这和QQ上发变声语音不同地方在于,这是实时的处理,和前文实时的语音翻译一样,都需要强大的AI算力予以支持。
其实,让智能手机更智能这件事,是一个“系统工程”,需要智能手机产业链上下游的共同合作才能实现。高通的AI Engine人工智能引擎,相当于为这项工程提供了一个平台,平台建成了,还需要更多应用开发商在上面挥洒创意,实现更多的AI应用,才能逐渐让智能手机真正智能。
具体到骁龙865移动平台的第五代AI Engine,它在AI 算力、系统功能等方面进行了全面升级,驱动智能手机实现了在过去难以想象的AI功能,例如IT之家在上文测试的实时语音翻译、游戏插帧、游戏变声等等。这样一个强大的AI平台,为智能手机往更智能的方向进化提供了沃土。
在此基础上,高通还在和广大应用服务提供商合作,包括谷歌、腾讯、有道、爱奇艺等等,通过硬件底层和软件层面的互相协同,促进,形成生态上的合力,加快智能手机AI化的进程。
而我们期待中的“智能”手机,也正在一步步变成现实。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。