小米AI相机2.0大揭秘

IT之家5月2日消息 小米此前已发布了包括小米10/Pro以及小米10青春版手机，除了硬件配置升级外其AI相机也升级到了2.0版本。今日小米官方也发文详细科普了全新的小米AI相机2.0。

IT之家了解到，小米相机算法团队将传统的场景感知拓展成为全方位的色彩、对比度、光影等内容感知，同时小米的相机团队还使用了深度神经网络对整个画面进行全局和局部的分析以获取最优的画面效果，并且实时地对画质进行增强。新一代的AI相机能够对所有的场景进行有针对性的画质提升，即识别+处理合二为一。

（1）数据生成

小米相机团队除了和设计师合作PS了数万张手机拍张数据之外还收集了很多网络上的高分图片作为目标，同时其还使用了two path GAN网络进行训练，能够保证生成网络生成的图片跟原图片的内容保持一致，仅仅去优化一些团队希望对原图进行优化的维度。

Two Path GAN示意图

（2）训练过程

在训练的过程中小米相机团队通过consistency loss，similarity loss，total variance loss ，adversarial loss等不同的weight 来控制生成网络的优化方向和能力。

训练过程（训练机制、帧间一致性处理、开关模块）：

> Teacher - student 机制：

生成器网络训练结束后，以生成器网络作为teacher 网络，一个更轻量级的网络作为student 网络进行学习。小米相机团队在轻量级的网络中加入了自相似图（self-similarity map）作为guidance map来实现相似结构和区域的效果尽量一致。

Teacher-Student网络

> 帧间效果一致性：

由于每帧都会做处理，帧间效果需要稳定，否则在视频和预览的时候就会容易出现跳变。但是上述的训练是在图片上做的，因此，在训练student网络的时候我们添加了帧间相似度loss，以保证帧间的效果一致。

帧间相似度Loss

> 开关module：

小米相机团队在训练的过程中加入了switch module，这个模块的作用就是能够通过判断不同的景物来选择不同的效果，有效的实现了针对不同的场景做不同的处理的效果。

Switch module

（3）处理速度

在实现AI算法2.0中，团队除了使用常见的网络减枝，网络压缩的技术外还提出了一种新的基于导向图的开关网络结。这个网络不仅仅可以使得网络参数和计算量大幅下降，也可以满足优化的多样性要求（噪声，亮度，颜色，对比度，高动态等等），最终得以将全新的AI相机展现给用户。

基于导向图的开关网络结构

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。