UCLA 蒋陈凡夫团队新研究：在 VR 里控制 3D 物体，高斯泼溅渲染

Vision Pro 现在玩的太花了，什么时候能快进到沉浸式玩 3D 游戏？？

现在有个新研究，在 VR 里实时控制 3D 高斯泼溅生成的物体，距离真正实现又前进了一大步。

比如操作这个铁马，一不小心就鬼畜了……

再比如，调教了下这只烈狗。

来自 UCLA 人工智能和视觉计算实验室由蒋陈凡夫带领，还有港大、浙大、Style3D、CMU、犹他大学以及亚马逊全华人，研究人员提出了一个 VR 系统 VR-GS。其中还看到了一个熟悉的图形学大佬王华民。

具体来看看，是如何实现的。

在 VR 玩 3D 高斯泼溅

在这项研究中，团队主要做了这三点贡献：

当然，最核心的就是提出了物理感知交互式的 VR 系统 VR-GS。

这个名字顾名思义，就是集成了 3D 高斯泼溅（GS）和基于位置的扩展动力学（XPBD）。后者是一个高度适应性和一致性的物理模拟器，用于实时变形模拟。

由于模拟和渲染过程具有不同的几何表现形式，因此很难将模拟器直接集成到 3D 高斯内核中。

为了解决这一难题，研究人员构建了一个四面体笼，将每个分段的高斯内核组嵌入到相应的网格中。由 XPBD 驱动的变形网格随后引导 GS 内核的变形。

从多视角图像开始，该流水线巧妙地将场景重建、分割和使用高斯核的修复结合在一起，除此之外，还进一步融合了碰撞检测、阴影投射等技术。

另外，他们还注意到，简单的嵌入会导致高斯内核出现一些尖峰伪影的问题，因此提出了一种两级嵌入方法，每个高斯核被嵌入到一个局部四面体中，局部四面体的顶点被独立嵌入到全局网格中。

区别还是比较明显的。

最终用户反馈中，在包括易用性、延迟满意度、系统功能和总体满意度等方面都获得了积极的评价。

本项研究由 UCLA、港大、浙大、Style3D、犹他大学、CMU 以及亚马逊等机构的研究人员完成。

其中来自 UCLA 人工智能和视觉计算实验室蒋陈凡夫带领，Ying Jiang、Chang Yu、Tianyi Xie、Xuan Li 做出同等贡献。

感兴趣的朋友，可戳下方链接研究研究～

本文来自微信公众号：量子位（ID：QbitAI），作者：白交

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。