扎克伯格的野心，藏在“全彩透视技术”里：虚拟与现实结合，VR 秒变 AR

如何让远在千里的朋友来你家下棋？

没错，是你住的家中，而不是你和朋友在手机上联机下棋或者同时处于某个完全虚幻的场景中。

前不久，扎克伯格披露其高端头显产品，内部代号为 Project Cambria 的 VR 头显即将实现这一场景。

▲ Meta 的 Quest 2 所呈现的黑白透视

Project Cambria 将会给图片内的灰色全部“复原”色彩，让你一时间很难分辨出哪些是虚拟物体，哪些是原有物品。而这背后离不开一项重要的技术 —— 全彩透视（full-color passthrough）。

扎克伯格曾在其最新的财报会议上提到全彩透视技术将是 Project Cambria 最大的特点之一。

全彩透视技术属于视频透视技术（Video-seethrough）的一个分支，也就是通过相机捕捉到实时画面，将虚拟世界和真实世界合成后，呈现丰富色彩的显示画面。

就像图片中的吉他和花架，通过全彩透视技术巧妙地和其他物品融为一体。

▲ 通过全彩透视技术呈现的画面

5 月 13 日，美国专利商标局公布了一项苹果专利，指出一种用于头显的多透镜组合方案，可实现视频透视功能。再结合近期外媒 The information 的爆料信息，不少人士推断苹果的 MR 头显很有可能采用的也是全彩透视技术。

此外，一些初创企业也在瞄准全彩透视技术的相关特性。VR 头显公司 Valve 近期宣布与 3D 传感技术公司 Occipital 的 Arcturus Industries 团队合作，为 VR 设备提供全彩色透视模式。

为何全彩透视技术能成为 Meta 头显的突破口？Meta 在全彩透视技术方面做了哪些工作？全彩透视技术又将对 VR / AR 行业带来哪些影响？我们与多位产业人士交流后，尝试找到问题的答案。

给元宇宙“上色”，全彩透视分四步走

透视是指看到现实世界。目前的 VR 设备打造的是一个完全虚拟的环境，不会与现实世界产生互动，但是通过透视用户就可以同时看到现实世界和数字世界。

而目前的透视方案分成两大类，光学透视和视频透视。

光学透视的显示方案是通过特殊的透镜设计将数字画面投射到半透明的显示装置。而视频透视的显示方案则是通过相机实时捕捉画面，再和虚拟世界本该呈现的画面融合，最终呈现在显示屏幕上。

▲ 光学透视（OST）和视频透视（VST）两种不同的光学路径示意图

由于光学透视的光路设计复杂，显示的画面视角有限，并且由于光线原因无法显示纯黑的画面，以及光学零部件成本造价较高，因此 VR 设备的厂商们往往选择已经较为成熟的视频透视方案。

回忆一下，当你戴上 VR 头显，需要建立安全区域的时，是不是也能同时看到自己的房间。并且你还可以用 VR 手柄在房间里圈定一定的安全区域。

这时候，你眼中看到的现实场景和虚拟世界融合的场景正是通过视频透视技术实现的。

尽管多数 VR 设备已经搭载了透视技术，但基于目前 VR 设备上搭载的 RGB 摄像头以及产品设计等因素，现有的 VR 设备上支持的多数为黑白透视。

据行业人士透露，黑白透视只需要利用空间定位摄像头以及一些简单的算法，就可以实现不错的透视效果。

▲ 黑白透视场景

但要做到全彩透视，尽管只是简单的“上色”一步，其背后则又需要考虑多个技术的融合。

目前，全彩透视主要可以分为四步：透视、空间锚点（放置 AR 物体）、三维重建、环境理解及对象识别。

值得注意的是，与 AR 设备显示的画面不同，全彩透视技术看到的现实世界，并非是通过人眼直接看到真实世界，事实上，人的眼睛看到的是机器拍摄现实世界场景，并经过处理之后投射在显示屏上的画面。

从黑白到全彩，全彩透视需突破三大技术难点

从黑白透视到全彩透视究竟有多难？

经过梳理，我们发现要实现全彩透视技术需要突破三大技术难点。

首先是硬件升级。影创科技创始人孙立认为从硬件上来看，从黑白透视到全彩透视可能会涉及到摄像头的升级，厂商们可能会将 VR 设备上的 RGB 的摄像头进行升级，甚至部分设备会配备深度传感器，以实现更高精度、色彩丰富的画面效果。

此前业内也有传闻证实这一点。据悉，相较于 Quest 2，Project Cambria 搭载了分辨率比 Quest 2 高三倍、专门设计用于彩色透视的深度传感器和摄像头，其能够实现以假乱真的混合现实体验。

▲ 全彩透视场景

其次在算法上也提高了一定的要求。由于全彩透视对分辨率、色彩的还原度和准确性要求较高，物体的位置和物体的大小范围一一对应，因此往往需要一套接近实时重构的算法。这提高了对算法和算力的要求，也对头显自身处理计算的能力有了更高的要求。

因此，头显的成本价格就可能翻倍增长，甚至是成倍增长。据悉，Meta Project Cambria 的价格上涨到 800 美元，苹果的 MR 头显定价或将达到 3000 美元。

头显厂商为何攻向全彩透视方案？

为何诸多头显厂商纷纷铆足劲攻克该方向呢？我们可以简单的从 Meta 透露的信息中一观全彩透视的好处。

首先，是用户活动的场景变大。用户不再受限于狭小的安全区范围内，可以自由地在房间内选择活动空间，甚至这次你的天花板也可以成为你的新“画板”。

据 5 月 25 日官方信息披露，Quest 2 房间设置新增实验性功能，用户可以标记家中物体表面，勾勒出墙壁和内部物体的大致范围，将你的“家具”、“墙壁”等搬入“元宇宙”。该功能尚处于测试阶段，将在 v40 更新版本中正式运行。

其次，我们可以看到，全彩透视也为办公场景带来了一些新的玩法。工作室的伙伴们可以在一起讨论新的设计方案，并且实时表达自己的意见，进行调整和修改。

“有了全彩透视，用户可以通过 VR 头显看到真实世界，实现真实和虚拟的结合，极大地扩展了 VR 头显的使用场景，像是社交应用和商务办公等，让 VR 不再只是娱乐终端，而可以拓展成为一种工具，一个计算平台。”爱奇艺奇遇 VR 头显的相关负责人说道。

▲ 黑白透视场景

最后，从用户体验上来看，全彩透视将“虚实融合”一词的场景又重新推上了一个新的台阶。此前，VR / AR 设备能够实现的仅仅是全部虚拟以及现实世界上增添一些简单的数字信息。

哪怕现在 Quest 通过黑白透视呈现的部分场景，也只是在虚拟世界中“复现”现实世界的场景，远远没有达到“融合”的效果。

有了全彩透视技术，你可以重新装修你的新房间，为它添上很多你目前还无法安置的东西，可以是一把吉他、一只宠物狗或者是你远在他乡的亲朋好友。

▲ 当虚拟宠物进入现实生活

用 Quest 2 试水，Meta 为全彩透视技术布局多时

事实上，Meta 对全彩透视技术早已布局多时，并且已在 Quest 2 上试水。1 月 13 日，Quest 2 的透视功能正式开放 SDK，并且接入了多款基于黑白透视功能开发的游戏，如《Cubism》、《Blaston》等。

我们可以看到，这是 Meta 为其全彩透视功能作出的一次铺垫。基于 Quest 2 的黑白透视功能，VR 内容厂商已经提供了一些新的玩法，随后将基于 Project Cambria 的全彩透视功能做出相应改良。

▲ Meta 的 Project Cambria 所呈现的虚实融合场景

前不久，多人 VR 创作应用软件《MultiBrush》宣布支持 Meta Avatar 系统头像和透视模式。

同时，当 Quest 2 开放透视模式之后，Quest 2 也不能仅仅看作一款 VR 头显，它也具有一定的 AR 特性。

据消息人士透露，目前国内外不少 VR 头显厂商也正在计划引入全彩透视功能。如今看来，全彩透视功能很可能是未来 VR 头显升级的重要功能之一。

尽管 Meta 将全彩透视功能描述的天花乱坠，但这些还仅限于理论场景。

从发布时间来看，Project Cambria 很有可能是第一款具备头手 6dof 定位以及全彩透视的头显产品，因此增添全彩透视功能的头显设备究竟能带来哪些体验，还有待观望。

但从智东西和不少 VR / AR 设备研发者交流中发现，他们都对于全彩透视持有看好的态度，甚至给出了“全彩透视是 VR 成为元宇宙入口的关键技术”的评价。

爱奇艺奇遇 VR 头显的相关负责人还提到，当具有全彩透视功能的 VR 头显面世后，会在未来很长一段时间会成为市场的主流产品，并实现 AR 场景在消费领域的落地，也会对现有光学透视的 AR 产品带来较大冲击。

在调查的过程中，我们还发现一家国内初创企业尝试从光学透视和视频透视两种方案中走出一条新的道路。

据报道，国内 VR 企业蚁视科技曾在 2018 年的 CES 大会上展示了蚁视 Mix 原型机该设备则应用了蚁视独家研发的的“时分透视 TDST（Time-Division See-Through）”技术，可以将真实和虚拟环境的光线通过光学调制器快速切换融合在一起。

但可惜的是，通过多方调查，我们仍未知道如今该项技术能够实现什么样的效果。

结语：VR 头显也可“看”现实世界，全彩透视为元宇宙带来新玩法

目前 VR 设备上存在视频透视、光学透视两种方案。但是由于成本、FOV 等影响问题，视频透视成为主流的 VR 头显厂商选择的方案。而如今，VR 设备上所搭载的黑白视频透视技术正在“升级”成全彩透视技术。

全彩透视技术的出现，一方面加速了产品形态的融合，打破了虚拟世界和现实世界之间的空间。另一方面，设备也在玩法上加强了用户体验以及开拓出更多的场景，释放出更多的生产力。

Meta 究竟将全彩透视玩得怎么样？是否只是为了宣传其新品的功能而强捧其技术效果？今年十月，我们或许能一窥真相。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。