华为官方深度解读：海思越影新一代 AI ISP 图像处理引擎技术硬核，超感光降噪、多光谱融合、超级宽动态...
IT之家 12 月 28 日消息，据华为海思发布，2021 年，海思推出越影 AI ISP：用于物联网智能终端的新一代智能图像处理引擎，突破传统 ISP 图像处理的极限，将业界画质标杆推向新的高度。
现在华为官方带来了海思越影新一代 AI ISP 技术的硬核指数的深度解读。
视觉产业过去十年发展，图像分辨率持续提升，图像效果不断优化。但是由于视觉感知的场景非常碎片化，在暗光、逆光、运动等场景下输出高质量图像仍然是行业公认的难题。
ISP 是对图像传感器输入的原始数据进行图像处理的首个环节，既是“看得清”的重要保证，也是后续“看得懂”的直接输入，ISP 输出图像质量决定着“看得懂”的天花板。ISP 涵盖了数十种图像信号处理算法。为了适配各种不同的镜头和传感器，需要优化调整成百上千个参数，保证 ISP 兼备通用性和灵活性。同时 ISP 中众多模块的算法是相互影响的，算法协同需要大量调试工作。这是一个极其复杂的过程，也是一项极具挑战的任务。面对越来越高的场景复杂度，基于滤波等传统图像处理技术在暗光、宽动态等场景下，画质获得显著改进越来越困难。而且随着参数库逐渐庞大，调试越发困难，开发周期逐步拉长，画质提升的投资收益率也越来越低。
近年来，利用 AI 进行图像增强逐渐成为行业研究新热点并取得了显著的进展，尤其是利用 AI 对静态照片的优化已经广泛应用于高端手机的相机拍照并获得了不错的效果。而视觉行业的特点要求能够对高分辨率、高帧率的视频，应用 AI 进行实时调优，对算法、算力的要求更高，特别是要求在端侧算力环境下高效实现 AI ISP 功能，获得相比传统 ISP 更优的效果。
上海海思利用在传统 ISP 画质技术上的长期积累和经验，以及在端侧 AI 架构和优化上的优势，在本届安博会期间发布新一代智能图像处理引擎 — 越影 AI ISP，将传统画质优化经验与 AI 技术深度融合，为实时高清视频的图像质量带来质的飞跃，相比海思上一代旗舰 ISP 在五方面取得显著进步。
【超感光降噪】基于深度学习的智能降噪，信噪比 4 倍提升
去噪一直是 ISP 的重要功能，尤其在视频感知领域，夜景下的去噪尤其重要。例如在夜晚光照不足街道或园区，各种各样形态各异的噪声会出现在记录的视频中，严重影响画面清晰度，难以“看得清”，更难以“看得懂”。传统的 NR 技术采用多级时域 / 空域滤波，且滤波器设计融合了多种异构类型，收益已逐渐降低。海思利用神经网络深度学习海量低照度场景图片的噪声和信号的分布特性，训练出一套智能降噪的算法模型，让越影 AI ISP 能智能区分图像中的信号和噪声，实现低照度场景下的智能降噪。根据测试，越影相比海思上一代旗舰 ISP 提升明显，在低照场景下图像信噪比可提升 4 倍。
【多光谱融合】采用专用硬件加速，实现 0.01Lux 低照全彩
低照场景下，RGB 传感器感光能力急剧下降，导致彩色图像清晰度快速下降，无法同时兼顾图像细节与色彩，给全天候视频感知带来严重挑战。在夜晚交通管理场景下，往往需要在闸口加装爆闪灯来补充照明，容易造成光污染甚至影响驾驶员的行车安全。而多光谱融合技术通过将可见光与红外光感知信息进行融合，在不增加光污染的同时，解决低照环境下由于可见光感光能力不足所造成的细节损失的问题，实现图像色彩与细节的最佳平衡，最终使图像效果达到 0.01Lux 暗光全彩，细节纹理丰富。
【超级宽动态】自适应光线复杂变化，动态范围提升 12dB
宽动态技术是逆光场景下提升画质的重要技术。例如行车进出隧道口时，由于内外光强反差巨大，如何快速跟踪不断变化的光线，并准确对目标进行自适应曝光，是对自动和辅助驾驶安全非常重要的技术。超级宽动态技术基于智能识别目标场景，对价值区域进行自适应多重曝光，通过智能算法融合不同曝光时间的长帧、中帧、短帧的图像数据，使图像获得暗、亮区域的完美融合：亮处不过曝、暗部细节不丢失，逆光场景所见清晰，暗光区域色彩饱满、细节丰富。根据测试，越影相比海思上一代旗舰 ISP，在逆光场景下动态范围可提升 12dB，并且对场景跟踪更迅速，能够有效避免图像画面瞬间过暗或过曝，在 3 帧以内即收敛至稳定状态。
【超级稳像】6 轴数字防抖，视频成像稳定性大幅提升
消费类摄像机会被广泛应用于运动场景的拍摄，由于在运动中相机的震动会影响最终成像效果，严重影响观看感受。当视觉感知设备被安装于自动或辅助驾驶汽车中，这样的抖动造成的图像模糊甚至可能影响驾驶安全。越影的超级稳像技术基于 IMU 6 轴传感信息智能分析运动姿态，通过精准补偿修正动态视频，有效减少由于外部环境晃动或抖动对视频成像造成的影响，可大幅提升各种振动环境下的视频稳定性。
【多维度感知】多感知跨界融合，激发智慧视觉新潜能
视觉是感知信息的主要输入源，但生产生活对信息的需求是多维度的。越影 ® 支持 RGB 与雷达、红外热成像、3D 结构光等多维度感知能力的融合，匹配红外测温、智能支付、扫地机器人、雷达视频一体机等多种产品需求，可广泛应用于交通管理、金融支付、工业视觉等多种业务场景。这种多维度感知的能力也可被各种行业细分市场所利用，激发更多新品类智能终端的创新。
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。
