拆分缩放法实现推理阶段潜变量扩容

原标题:Split-and-Scale Latent 3D Representations
72AI 研判分

论文提出 split-and-scale 方法,将 3D 场景表示为坐标的连续函数,使单个预训练 tokenizer 在推理时可作用于任意小的子区域,从而在不增加训练成本的前提下大幅提升潜变量容量与重建细节。该方法通过大量消融实验验证了计算、内存、潜容量与重建质量之间的权衡,并进一步用于解耦辐射场与相机位姿的生成建模。

报道正文

潜在 3D 表示显著拓展了现代形状建模的能力,使 3D 场景的紧凑编码成为可能,并支撑了强大的 3D 生成模型。尽管取得了这些进展,当前的表示仍难以捕捉复杂对象的精细细节,这从根本上受限于其潜在表示(latent)的容量。然而,在训练阶段扩展潜在容量计算代价高昂,且在内存限制下往往不可行;而在推理阶段简单地增加潜在表示的数量,也无法有效利用新增的容量。本文针对这两项挑战提出了 split-and-scale 方法,它能在推理阶段有效扩展潜在容量,同时保持训练成本可控。我们的关键观察是:通过将 3D 场景表示为 3D 坐标的连续函数,单个预训练的分词器(tokenizer)可以在推理阶段应用于场景中任意小的子区域,从而将相同的潜在容量分配给更小的空间范围,进而捕捉到高得多的细节。我们通过大量消融实验研究了计算量、内存、潜在容量与重建质量之间的权衡,验证了这一洞见,并证明我们的推理时扩展方法所达到的质量,可与远超单 GPU 内存限制的更大模型相媲美。我们进一步证明,split-and-scale 支持高质量的生成建模,我们训练的自回归 3D 生成器在性能上可与最先进的基线方法竞争。

相关阅读与更新。

### Luce:用于 3D 资产生成的可重光照高斯

2026 年 8 月 26 日研究领域 计算机视觉

高保真的图像到 3D 生成需要一种能够同时捕捉几何形状与外观的 3D 表示。为支持重光照并集成到标准渲染管线中,该表示应包含基于物理的渲染(PBR)模态,例如反照率、金属度-粗糙度以及表面法线。我们提出 Luce,一种在体素化多模态高斯云中统一几何与 PBR 材质的 3D 表示,使用……

阅读更多### GAUDI:用于沉浸式 3D 场景生成的神经架构

2022年9月27日研究领域 计算机视觉,研究领域 方法与算法会议 NeurIPS

我们提出 GAUDI,这是一种生成模型,能够捕捉复杂且逼真的 3D 场景的分布,并可从移动相机以沉浸式方式渲染。我们采用一种可扩展而强大的方法来解决这一具有挑战性的问题:首先优化一种解耦了辐射场与相机位姿的潜在表示。随后,该潜在表示被用于学习一个生成模型,从而支持无条件生成和……