GHARP 发布：基于高斯重建先验的实时头部动画

查看论文

我们提出了 GHARP（基于大规模重建先验的实时高斯头部动画），这是一种能够从少量输入图像和驱动表情信号中实时对 3D 人头进行动画的方法。我们将问题解耦为两个阶段：身份构建阶段离线建立主体的几何与外观表征，而动画生成阶段则在运行时预测依赖于表情的残差。这种分离在保真度、质量和运行时间之间提供了有利的权衡：身份构建阶段可以计算密集，而动画生成阶段则运行一个针对移动设备优化的轻量级网络。我们的方法在一个预训练重建模型的语义结构化潜在空间中进行动画生成，其中表情变化在空间上保持局部性，从而使得残差预测更加高效。该重建先验提供了一致的空间布局，允许将多个输入视图融合为一个紧凑且固定大小的规范高斯表示。虽然这种两阶段设计改善了运行时间与质量之间的权衡，但它仍然继承了所有表情驱动头像方法共有的一个问题：表情编码仅描述面部，因此忽略了身体姿态和衣物位置，导致这些区域在输入中定义不足。动画网络面临不适定映射问题，不得不通过对冲突的身体外观进行平均来处理，从而产生模糊和时间闪烁现象。我们通过一个身体对齐网络来解决这一问题，该网络学习将目标图像中的身体与输入参考图像对齐，从而消除训练信号中的歧义。我们的方法在 Ava-256 基准测试中达到了最先进（SOTA）的质量水平，同时在 A100 GPU 上的运行速度提升了高达 13 倍，且所需的高斯数量减少了 8 倍。

• • 同等贡献