苹果 iPhone 15 Pro Max 的影像升级，也许比你想象的大
01 写在前面感谢您点开本帖！我是一名热爱数码的普通家友，撰写本文绝非要推销某款手机，而是想借 iPhone 15 Pro Max 的全新影像系统，聊聊手机摄影中一些有趣的点。我已经使用了 iP15 PM 真机一段时间，不说废话，请各位家友看看样张：
不得不说，iP15 PM 摄影质量的提升幅度之大令我吃惊。数码圈对 iPhone 的刻板印象是“录像无敌、拍照稀烂”，而 iP15 PM 也确实没用上小米、OV 旗舰机的一英寸大底传感器，那成片中这些肉眼可见的解析力提升到底来自何处？我在查阅诸多资料后，想将这背后有趣的技术细节分享给各位家友。
02 像素数的取舍长话短说，iP15 PM 的成片之所以细节丰富，是因为它的默认分辨率从 12MP 提高到了 24MP。乍一听，2400 万像素在 2023 年的手机中平平无奇。前有三星 HP2 传感器 200MP 傲视群雄，后有索尼 IMX989 传感器 50MP 大底媲美黑卡，区区 24MP 难道不是被安卓影像旗舰“虐杀”？与直觉不符的是，尽管 2023 年的旗舰机鲜有低于 48MP 的主摄，但其成片均为 12MP。
我们快速回顾一下手机图像传感器的工作原理。CMOS 感光元件上的每个像素只能检测光的强度，而不能获取光的色彩，因此只能拍摄“黑白照片”。我们因此为每个像素加装了一块“滤光片”，只让特定颜色的光抵达像素。这让 CMOS 可以输出充满马赛克的“彩色照片”。
基于人类的色觉，最常用的滤光片为红、绿、蓝三种。对于特定像素，它如果有“红光”的信息，就必然缺失“绿光”和“蓝光”的信息。我们使用与该“红像素”相邻的“绿像素”和“蓝像素”，来补全它的“红绿蓝”信息，最终“猜出”光线的真实颜色。
对所有像素重复以上步骤，我们便可得到一张原色照片。此时，12MP 传感器就输出 12MP 图片，CMOS 尺寸等同于照片尺寸。一般而言，像素数越高，照片越清晰，但这种论述有个前提：单个像素的感光能力不能下降。对于面积相同的传感器，1200 万个大像素和 4800 万个小像素，谁拍出的照片更好？结论是互有胜负：12MP 的成片得益于单像素的高感，纯净度更高；48MP 的成片得益于多像素的细节，解析力更高。
为了实现高、低像素间的优势互补，“像素 N 合一”是一个不错的方法。通过将单个像素分割为 2 × 2 个小像素，我们可以将 12MP 的传感器升级为 48MP；类似的，如果按 3 × 3 分割便可得 108MP，按 4 × 4 分割便可得 200MP。
上述这种“高像素”传感器便是如今旗舰机的配置。尽管它的每个像素都能用于成像，但在实践中，大部分手机都将传感器的低像素模式（即 12MP 分辨率）作为默认选项。一来，大尺寸的融合像素感光能力更好；二来，被同色像素包围的子像素会遇到“猜色”困难。
如果要找一个促使厂商停留在 12MP 的核心原因，我们就不得不提”计算摄影”。手机拍照想要实现 HDR、降噪、虚化等效果，算法介入是必须的。常见的计算方法无非两种：多帧合成和多摄融合。我们之所以能拍摄逆光人像，是因为手机在用户按下快门（甚至在这之前）的瞬间，融合了过曝成片中的暗部和欠曝成片中的亮部，最终同时保留明暗细节。
但是，就算使用像素分割数最少的 48MP，其输出的数据量也是 12MP 的 4 倍，且高像素模式下传感器的帧率也会显著降低。因此，时至 2023 年，手机处理器的 ISP 仍不能实现无感的 48MP 计算摄影，遑论 108MP 甚至 200MP。手机厂商大多将“高像素”作为一种特殊模式，仅供用户在光线充足的静态场景中使用，因为它常伴随高延迟、低宽容度、多噪点等问题。种种不便注定了用户拍摄的照片多为 12MP，而非 CMOS 标称的高像素。
03 “光像引擎”原理浅析如前所述，iP15 PM 的默认分辨率是 24MP，且输出 24MP 图像时既可以连拍，又有动态照片、人像模式等效果，使用体验和 12MP 无异。但它的传感器依然是“像素四合一”的 48MP CMOS，故只有 12MP 与 48MP 两档可选。并且，iP15 PM 拍摄 ProRaw 图片时依然有等待时间，这说明 A17 Pro 也未能征服 48MP 计算摄影。那这 24MP 的成片来自何处？
一方面，我们可以用“超采样”使 48MP 的成片缩小至 24MP。iOS 端的 NOMO 相机就有类似模式，但效果并不理想。48MP 原图的宽容度较差且带有噪点，将这样的素材用于“超采”无法逆转像素本身质量较差的事实，最终成片与 12MP 多帧合成区别不大。
另一方面，我们也能用“超分辨率”将 12MP 的成片扩大至 24MP。谷歌 Pixel 的 Super Resolution Zoom 便使用了这一思路，但效果也不理想。使用多张略带偏移的 12MP 成片来推断两个物理像素间遗漏的信息并不准确，最终成片不会拥有在 12MP 时就已丢失的细节。
苹果的做法是，将一张 12MP 的纯净照片与一张 48MP 的高解析力照片融合，最终输出 24MP 成片。这听上去简单，但却需要改变计算摄影的底层管线。iPhone 的计算摄影有两根支柱：Smart HDR 和 Deep Fusion。在前代 iPhone 中，Smart HDR 是首先进行的步骤。它会采集曝光、白平衡、色彩映射等信息，并结合激光雷达的深度捕捉与计算机视觉的主体分割，对照片局部进行微调，以实现高宽容度。
如果iPhone 判断场景光线不足，则进一步触发 Deep Fusion。它以机器学习的方式从 9 张曝光值不同的 HDR 照片中选出高质量像素，最终融合成一张富含细节的成片。值得注意的是，Deep Fusion 在发布之初宣称能将 12MP 的图片增强为 24MP，即“超分辨率”，最后并未实装，理由如前所述。
在 iPhone 15 中，Deep Fusion 被放在了 Smart HDR 之前，实现了它最初的使命：创建一张拥有 24MP 分辨率的像素地图。随后，Smart HDR 将光学信息映射到每个像素上，相当于设置好滤镜。最终，iPhone 从 48MP 图像中挑选出优质像素并放置到 24MP 的框架中，这样既有了细节，又能快速将局部调整应用到成片中，避开了 48MP 难以多帧合成的问题。这条新的管线被称为“光像引擎”。
04 计算摄影的大一统如果“光像引擎”只是实现了成片像素数翻倍，那我只愿称它为“运行速度更快的高像素模式”。令人赞叹的是，这条管线把以往独立的几种算法给整合了起来。我们不妨看看 iP15 PM 的一张成片中包含了哪些信息。
首先，它是一张动态图片。iPhone 之所以记录按下快门前后的影像，是因为 Deep Fusion 和 Smart HDR 都需要“缓冲区间”。换言之，你在准备拍照前，算法就已经开始分析你可能要拍什么。用户因此能赋予照片“流光快门”的效果。
其次，它是一张人像照片。这类照片带有深度地图，因此用户能实现后对焦、光圈调整、打光调整等功能。起初，深度地图在 Deep Fusion 过程中会被舍弃，因此“人像模式”独立于默认相机，且不支持数码变焦。如今，深度地图在 Deep Fusion 后才被建立，它成为了每张照片的标配。
最后，它是一张没有妥协画质的高分辨率照片。高光压制、暗部提亮、噪点消除这些计算摄影的红利它全部拥有。并且得益于 HEIF 高效存储格式，单张照片的大小在 1～3MB。
不过，“光像引擎”依然有提升空间。首先，夜景模式仍独立于这条管线之外。其次，24MP 成片仅限 35mm 以下焦段，这是因为 48MP 主摄的等效焦距为 24mm，放大 1.5 倍后到达 24MP 像素极限。
05 潜望长焦全面兼容“光像引擎”智能手机的镜头多为定焦镜头。一般来说，上述计算摄影的管线可以迁移到不同焦段，比如 13mm 超广角镜头和 77mm 中焦镜头。但 iP15 PM 上还有一颗特殊的镜头：120mm 潜望长焦。在安卓影像旗舰的发展历程中，我们已经发现，潜望长焦因其结构复杂，成像质量难以做到和短焦镜头一致。
我们不妨看看潜望长焦的剖面图。第 1 种结构为“单棱镜单次反射”，代表机型为小米 13 Ultra。第 2 种结构为“双棱镜两次反射”，代表机型为三星 S23 Ultra。第 3 种结构为“单棱镜四次反射”，代表机型为苹果 iPhone 15 Pro Max。
这三种结构各有优缺点。首先，反射次数越多，模组就能在更小的尺寸中实现长焦，但每次反射都会有光的损耗。其次，传感器垂直于机身方向放置时，手机要增加厚度以容纳 CMOS。最后，棱镜在镜组之前，光线受制于棱镜折损，光圈较小，而镜组在棱镜之前，则光圈与普通镜头无异。iPhone 的“四重反射棱镜”是一种全新的潜望结构。我们直接看下它的成片效果：
不难发现，在对算法、进光量要求较高的夜景拍摄中，iPhone 的潜望长焦拥有与主摄相似的表现。理论上，四次反射会导致较大的光线损耗，为什么 iPhone 的成像质量在弱光场景中不会爆发噪点？除了算法，这四次反射中，两次是镜面反射，两次是全反射。所谓全反射，是指一束光线以大角度射向介面时，只发生反射、不发生折射的物理现象。全反射的光损远小于镜面反射，因此“四重反射棱镜”的光强约等于“双棱镜两次反射”，而光程更长。
如前所述，计算摄影的支柱之一是多帧合成，而多帧合成的基础是光学防抖。否则，多张模糊的照片叠加在一起只会让解析力下降。由于 iPhone 的棱镜是一个完整的平行四边形，移动棱镜来防抖的安卓方案并不试用。因此，iPhone 采用了 CMOS 防抖，并且在常规的 X、Y 方向外，还使用了在手机上不常见的 Z 轴防抖。Z 轴的加入也解决了潜望长焦的对焦问题，可谓一举两得。
“四重反射棱镜”还有个好处，就是模组较小。与只拥有 77mm 中焦镜头的 iP14 PM 相比，iP15 PM 的宽度缩小了 1 mm，厚度增加了 0.4 mm，而后摄模块几乎没变。考虑到 iPhone 并非特化拍照的手机，在维持握持感的前提下提升影像能力才不会动摇基本盘。
目前，市面上拥有 120mm 焦段的旗舰并不多，大家都从一时的狂热倒退回了 100mm 以下的实用焦段。因此，我们就单独欣赏下 iP15 PM 的长焦样张吧：
总结iP15 PM 的影像提升可以归因于算法提升。改进的“光像引擎”带来了三个好处：原生 24MP 照片直出，多种模式融合，和副摄画质提升。我们不能说“光像引擎”带来了什么变革，因为高像素、人像模式等功能早已有之。但“光像引擎”将其带入到了日常使用中，用户无需去判断当下最该用何种模式，只要按下快门，就能拥有计算摄影的全部红利。我认为这是手机摄影的重要进步，尤其是在算法愈加复杂的今天，“简约”的用户体验不能来自删繁就简，而只能来自“在纷繁里建立秩序”。
