清华 & 哈佛团队推出 LangSplat：更准确描述 3D 场景、比 LERF 快 199 倍

2024-01-02 11:36IT之家 - 故渊

IT之家 1 月 2 日消息，清华大学携手哈佛大学，共同开发了名为 LangSplat 的全新 AI 系统，能够在三维空间内高效、准确地搜索开放式词汇。

LangSplat 是第一个基于 3DGS 的 3D 语言场方法，特别引入了 SAM 和 CLIP，在开放词汇 3D 对象定位和语义分割任务上优于最先进的方法，同时比 LERF 快 199 倍。

加州大学伯克利分校的研究人员于 2023 年 3 月展示了语言嵌入式辐射场（LERF），将语言嵌入从现成模型（如 CLIP）嵌入到 NeRF 中，从而在不需要专门培训的情况下，在三维环境中准确识别物体。

例如在书店的 NeRF 环境中，用户可以用自然语言搜索特定的书名。这项技术还可用于机器人技术、模拟机器人的视觉训练以及人类与三维世界的互动。

不过 LERF 的短板在于不适合实时搜索，且搜索结果准确率低。

LangSplat 为了解决这个短板，使用 3D Gaussians 构建 3D 语言场，避免了 NeRFs 所需的复杂渲染过程，在 1440 x 1080 像素的分辨率下，LangSplat 比 LERF 快 199 倍。

团队展示了泡有茶叶的茶杯，LERF 标记的是两个杯子，而 LangSplat 标记的是杯子中的液体。在另一个例子中，它可以标记一碗拉面汤中的单个配料。

LangSplat 为了形成 3D 语言场，使用 Meta 的“分段任意模型”（Segment Anything Model）从场景的多幅图像中学习分层语义。

具体来说，图像会被分解成边界清晰的不同物体掩码，而物体又会被进一步分解成整体、部分和子部分。

然后，CLIP 对学习到的遮罩进行处理，其嵌入会训练一个自动编码器，然后用于训练 LangSplat 的 3D Gaussian Splatting。

研究人员使用 LERF 和 3D OVS 两个数据集对 LangSplat 进行测试，结果显示总体准确率分别达到了 84.3% 和 93.4%，而 LERF 分别为 73.6% 和 86.8%。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。