渲染速度超 100 FPS，浙大研发突破性框架 Human101：利用单视角视频构建数字人体模型

IT之家 12 月 29 日消息，在虚拟现实和 3D 建模过程中，如何利用有限的数据源（例如单视角的多段视频），构建动态、高保真数字人体模型存在诸多挑战。

传统方法主要依赖大量训练数据和复杂的神经网络架构，需要平衡详细且准确的数字模型和实时应用程序所需的计算效率，因此在渲染速度和模型保真度方面会有所牺牲。

浙江大学 ReLER 实验室携手 CCAI，为了应对这些调整，开发突破性框架--Human101，可以显著提高虚拟现实应用程序中的训练和渲染速度。

这种创新方法在确保生成模型的高保真度情况下，快速高效地重建 3D 数字人体模型。

Human101 的核心在于集成了 3D 高斯散射和先进的动画技术，有助于高效处理单视角视频数据，生成动态的 3D 人体模型。

Human101 利用了一种新颖的、以人类为中心的前向高斯动画方法，避免了对目标姿势点的相应规范点的穷举搜索，直接将规范点变形到观察空间，简化了变形过程并提高了渲染速度。

此外 Human101 还采用规范人类初始化方法，更有效地初始化原始高斯分布，极大地加快了模型的收敛速度。

从测试结果来看，训练 3D 高斯体可以在 100 秒内完成，相比较现有方法，大幅缩短了时间。

此外，渲染速度超过 100 FPS，这一重大改进为实时交互式应用程序和沉浸式虚拟现实体验开辟了新的可能性，这种效率并未以质量为代价；该框架设法保持甚至在许多情况下超过了当前方法的视觉保真度。

IT之家附上论文参考地址：https://arxiv.org/abs/2312.15258

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。