苹果封神头显 Vision Pro 暗藏「脑机接口」，苹果前员工揭秘读心操控

苹果 Vision Pro 的横空出世，一夜之间在全球引起轩然大波。

正如库克所称，这将开启「空间计算」时代，足见 Vision Pro 对所有人来说意义非凡。

戴上 Vision Pro，只需眨眨眼，捏合手指，甚至动动嘴，「头号玩家」的科幻便成为可能。

但，苹果 Vision Pro 的科幻感，不仅于此。

头显发布后，苹果前研究员 Sterling Crispin 在推特回顾自己工作中，透露了不少关于 Vision Pro 的「黑科技」。

最让人惊艳的是，Vision Pro 其实还暗藏着一种「脑机接口」技术。

不需要芯片植入，它就能预测你的大脑行为，妥妥的「读心术」。

此外，苹果头显还能根据个人身体和大脑的数据，来检测心理状态。

看似篇幅不长的推文中，其实给许多人对苹果 Vision Pro 带来了无限的畅享。

Vision Pro 暗藏「脑机接口」？

2018 年，Sterling Crispin 加入苹果技术开发小组，担任「神经技术原型」的研究员。

3 年前，他开始参与 Vision Pro 的研发工作。

正如他在推特上所称，自己花费人生 10% 的时间为 Vision Pro 的开发做出贡献，这是我做过的最长的一次努力。

Crispin 在苹果的大部分工作都受到保密协议的约束，设计广泛的主题和方法。

但其实，这些工作，有些苹果已经申请了专利，可以拿出来讲。

Crispin 称，「要使特定预测成为可能，涉及很多技巧，我提到的少数专利对此进行了详细说明。」

最酷的能力就是能够预测用户，会在他们实际点击之前，点击某些东西。

而这项技术背后的主要原理是，每个人在做每件事之前，瞳孔会做出反应，其中部分原因是你预计在你点击之后会发生一些事情。

因此，苹果可以通过算法来监视你的眼睛行为。

并实时重新设计 UI，以创建更多这种预期的瞳孔反应，从而创建个人大脑的生物反馈。

这其实就是通过眼睛实现的初级「脑机接口」。

Crispin 表示，「这是一项艰巨的工作，也是我引以为豪的事情。随时都会接受侵入性脑部手术。」

从中可见，苹果头显利用大量神经科学技术来开发其中的一些关键功能，凭借不同技巧来确定一个人将要做的事。

此外，Crispin 称自己工作很大一部分，涉及通过用户在沉浸式体验中的身体和脑部数据，来检测用户的心理状态。

毕竟沉浸在虚拟世界中的人们，真的很需要有个健康检测的功能。

当你处在混合现实，或者虚拟现实体验中，AI 模型尝试预测你是否感到好奇、思维漫游、害怕、注意力集中、记起过去的经历或其他认知状态。

而这些都可以通过眼动追踪、脑部电活动、心脏跳动和节奏、肌肉活动、大脑中的血液密度、血压、皮肤电导等测量数据来推断。

除了以上提到的技术，推测认知状态还包括你可能察觉不到的方式。

比如，向你快速闪烁视觉效果，或者声音，然后测量你对此的反应。

还有一项专利介绍了，如何使用机器学习，以及来自身体和大脑的信号来预测你的注意力、放松程度或学习情况。

然后，头显会自动更新虚拟环境，以增强这些状态。

因此，你可以想象一个自适应沉浸式环境，它可以通过改变你在背景中看到和听到的内容，来帮助每个人学习、工作或放松。

Sterling Crispin 介绍的这些和科技，或许我们能够在 VisionPro 未来迭代升级中看到。

背后部分专利一览

支撑发布会上魔幻演示的效果的，是苹果在默默开发 VR 设备这么多年中自己的技术积累。

5000 多项 VR 专利，是发布会上惊艳众人产品和基石和护城河。

现在就来看看演示中涉及到的专利技术。

双手 + 意念控制一切

市面上几乎所有的 VR 设备都配备了手柄。

但是苹果却大胆的在自己的第一款 VR 产品中就完全依赖手势追踪和眼球追踪实现了丝滑的控制效果。

背后的技术在 2023 年获得了专利。

根据专利图示，FIG.1 是 3D 操作环境的框架图，展示了用户 UI 实现的整体框架。

FIG.4 是捕捉用户的手势输入的头显计算机系统的手部跟踪单元的框架图。

FIG.5 是用户的眼球追踪数据输入的头显计算机系统的眼睛跟踪单元的框架图。

这个专利图例展示了眼球反光辅助眼球追踪的流程图。

除了提供手部和眼球追踪技术的基础之外，该专利还描述了用户如何在 3D 环境中更有效的进行交互的设计和流程。

强大的手势追踪体验，还源于今年 5 月，苹果又获得了一项专利。

这项专利描述了头显中的摄像头如何使用深度映射来区分不同的手势。

图注：FIG.7E / F / H / I 说明了相对于三维环境，基于用户在一系列用户输入期间保持的手握力从而有选择地移动虚拟对象或相对于三维环境（以及三维环境中的所有虚拟对象）移动视点维度环境。

一键生成 3D 形象

还记得之前被全网嘲讽的小扎在 Horizon World 里的 3D 形象吗？

苹果给出了的方案也许部分解释了为什么同样是做 VR 设备，苹果能引爆全网，Meta 却让自己的股票「跌跌不休」。

背后的技术专利也在上周被公布出来。

这个专利描述了未来的 Apple Watch 和 XR 头显将允许用户使用设备上的相机设置自己的 3D 头像的技术。

在专利的示意图中，苹果展示了未来的 Apple Watch 允许用户使用 Apple Watch 背面的传感器拍摄自己的 Face ID 图像。

该传感器技术同样可用于 XR 环境。

无限画布

苹果发布会上演示的 Vision Pro 可以将周围空间作为无限画布。

用户不仅可以随意使用任何 APP，而且可以把它们调成喜欢的任意尺寸。

苹果在 2018 年就申请了和这个功能相关的专利，这项技术让未来的 XR 头显提供用户在 3D 环境中编辑文档的功能。

如下图 Apple 的专利图所示。

另一个相关专利是 2021 年获得的让佩戴 XR 头显设备 (HMD) 的用户可以查看显示器（Mac、MacBook 或电视）并根据需要进行虚拟扩展的技术。

收购 AR 初创公司 Mira

其实，从申请多项专利可见，苹果在 AR / VR 领域的探索，蓄谋已久。

最早可以回溯到 2010 年，苹果就收购了来自瑞典的面部识别技术公司 Polar Rose。

在 Vision Pro 推出的后一天，就传出了苹果近来收购了 Mira。这是一家构建轻量级 AR 头显的初创公司，还为美国军方提供服务。

根据 Mira 首席执行官 Ben Taft 在 Ins 上的帖子显示，作为收购的一部分，苹果已经聘请了至少 11 名 Mira 的员工。为 Mira 在苹果的下一篇章感到兴奋。从宿舍到收购的 7 年旅程。

目前，具体收购金额未知，也不清楚 Mira 在苹果的增强现实路线图中扮演怎样的角色。

据 2 名前员工透露，苹果前设计主管 Jony Ive 曾一度担任这家初创公司的顾问。

Mira 于 2016 年由 Ben Taft 创立，总部位于洛杉矶，一直在为全球客户生产 AR 头显，包括任天堂在日本环球影城中的主题公园。

这家初创公司迄今已筹集了约 1700 万美元的资金，包括蓝熊资本、幸福投资和红杉资本在内的投资者。

而苹果在 Vision Pro 中展示出来的很多技术，也是源于一次次成功的收购。

比如一些手势和空间定位的专利技术，就是通过收购了总部位于蒙特利尔的 VRvana 获得的。

头显「iPhone 时刻」到来，还需 5 年

苹果推出的 Vision Pro，预示着它的下一个时代即将到来。

这款头显标志着苹果首次创建了一个新的计算平台，可以取代现有的大部分主要产品。

尽管 iPhone 蚕食了 iPod，iPad 威胁到了 Mac。但是，还没有哪一个苹果产品类别能够同时击败当前 3 个主要细分市场。

彭博报道称，想让 Vision Pro 成为 iPhone 的替代品，至少需要 5 年的时间。若要成为杀手级产品，可能需要付出更多的时间。

如今，Vision Pro 售价 3499 美元，价格高且不说，不能与手机互联互通，甚至也不能打电话。

而且设计还是太过笨重，而且必须随身装一个外置电池组，仅有 2 小时电量，无法长时间使用。

但在接下来的几年里，苹果能够解决这些问题，并推出一款「无所不能」的设备。

表面来看，Vision Pro 看起来就像是一个为有钱人，或者那些对科技新品有无限需求的人而定制的「高价玩具」。

但是，苹果在 WWDC 上也竭力表明，这是每个人的设备，从办公、到娱乐、视频、出行等等方面。

不过，这并非不可能。

苹果在 iPhone、MacBook 等产品的迭代更新向世人展示了自身的潜力。

进而，Vision Pro 及其更先进的后续产品的发展价值，也将变得更加清晰。

其实还有一点是，Vision Pro 并不像 iPad 或 iPhone 一样容易上手。而且每个人戴上头显还可能会有沉浸体验的不舒适感。

不过，随着时间的推移，人们便会习惯这种全新的「空间计算机」，就像戴一副眼镜一样。

通过 Vision Pro，苹果展示了自己正朝着将计算设备体积缩到最小、最轻便的未来努力。

但这可能是一条漫长，而崎岖的道路。

不过，至少在周一的 2 个小时里，对于数百万果粉来说，这款头显让他们终于见证了 Vision Pro 的到来。

或许有一天，我们可能会戴着 Vision Pro，观看 WWDC 2030。

参考资料：

• https://twitter.com/sterlingcrispin/status/1665792422914453506

• https://www.bloomberg.com/news/newsletters/2023-06-06/apple-vision-pro-a-post-mac-iphone-and-ipad-future-with-new-visionos-and-apps

• https://www.patentlyapple.com/2023/06/today-apple-introduced-the-apple-vision-pro-a-revolutionary-spatial-computer-headset-thats-out-of-this-world-backed-by.html

本文来自微信公众号：新智元 （ID：AI_era）

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。