复旦团队提出 F2G-Pose 单次前向预测物体位姿与形状
复旦大学与上海创智学院团队提出 F2G-Pose,在类别级 6D 位姿估计任务中实现单次前向推理同时输出物体位姿、尺寸与完整三维形状,无需逐物体 CAD 模型或参考图像。该工作已被 NeurIPS 2026 接收,并开源代码,为机器人抓取与操作提供更直接的空间感知路径。
报道正文

一次前向推理,同时预测物体位姿、尺寸与完整三维形状。

机器人想要拿起桌上的杯子,首先需要知道什么?
识别出「这是一个杯子」,显然还不够。它还需要判断杯子在哪里、朝向如何、实际有多大,才能为后续抓取和操作提供可靠的空间信息。
对于人类,这些判断往往不需要刻意思考。但对于机器人,尤其是面对从未见过的物体实例时,问题远没有那么简单:物体可能被部分遮挡,深度相机只能看到有限的表面,同一类别下的物体也可能有着截然不同的形状。
这正是类别级 6D 物体位姿估计(Category-Level 6D Pose Estimation)希望解决的问题:不依赖每个物体专属的 CAD 模型或参考图像,仅从视觉观测中直接推断物体的三维位置和旋转方向。
近日,来自复旦大学与上海创智学院的研究团队提出了 F2G-Pose(Geometry-Aware Foundation Feature Lifting),相关工作已被 NeurIPS 2026 接收。
- 论文: F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation
- 会议: NeurIPS 2026
- 作者: 张晋瑜、林海涛、侯嘉树、薛向阳、付彦伟
- 研究单位: 复旦大学、上海创智学院
- 论文链接: https://arxiv.org/abs/2610.31623
- 代码仓库: https://github.com/jrryzh/F2G-Pose
与需要反复生成候选姿态的方案不同,F2G-Pose 尝试了一条更直接的路线:给定一帧经过目标分割的 RGB-D 观测,通过一次前向传播,同时预测物体的 6D 位姿、真实尺寸,以及相机坐标系下的补全三维形状。
在 RTX 4090 上,该方法关闭形状补全分支时的模型推理速度达到 28 FPS,并在多个基准测试中取得领先结果。研究团队还将其部署到真实机械臂上,验证了预测结果在机器人操作中的实际价值。
01|位姿估计的难点,不只是找到正确答案
现有类别级位姿估计方法,大致有两条技术路线。
一类方法通过规范坐标、几何对应关系或形状先验,先建立中间表示,再将其转换为物体的最终位姿。这条路线通常具有较好的推理效率,但当物体被遮挡、深度信息缺失或形状变化较大时,中间预测中的误差可能进一步传递到最终结果。
另一类方法则选择显式建模位姿的不确定性。以 GenPose、GenPose++为代表的生成式方法,通过扩散模型采样多个可能的姿态,再经过评分、筛选或聚类,确定最终输出。
这种思路有其合理性:当一个物体只能被观察到一部分时,确实可能存在多个合理的姿态解释。但我们注意到一个值得深入研究的问题:能够生成准确的候选姿态,并不意味着最终一定能够选出准确的结果。
论文对 GenPose++进行了一项分析。在 ROPE 数据集上,生成 50 个候选姿态后,如果允许使用真实标注,从中挑选旋转误差最小的候选,那么有 79.3%的实例可以达到 5°以内的旋转误差。但在实际使用的候选筛选流程之后,这一比例为 48.3%。换句话说,准确答案可能已经出现在候选集合中,却未必能被最终选中。与此同时,采样数量越多,计算成本通常也越高;减少候选虽然能提高响应速度,却可能影响最终的预测可靠性。
对于需要持续感知、实时执行的机器人来说,这种精度与延迟之间的权衡尤其重要。
由此,团队提出了一个问题:
能否直接学习从 RGB-D 观测到最终位姿的映射,把计算资源用于获得更好的物体表示,而不是生成和筛选大量候选?

动图 1|同帧位姿预测结果和真实标注对比。
02|F2G-Pose:把二维视觉特征带入三维空间
直接回归位姿并不是全新的想法。真正困难的地方在于:如何让网络在只有局部观测的情况下,仍然建立足够可靠的三维物体表示?F2G-Pose 的答案,是让视觉基础模型提供语义与外观线索,让深度点云提供真实的几何约束,再通过统一的网络共同推理。

图 1|F2G-Pose 总体架构:视觉特征提升、局部几何编码、MoE Transformer 与位姿/尺寸/形状预测。
首先,将视觉基础特征提升到三维空间。
模型采用冻结的 RADIOv2.5 视觉编码器,从 RGB 图像中提取密集视觉特征。利用相机内参和对齐的深度信息,可以找到每个三维点对应的图像位置,并将相应的视觉特征附着到点云上。
这样,每个三维点不仅包含空间坐标,还携带了对应区域的视觉信息。
例如,深度信息能够描述物体表面的几何变化,视觉特征则可以补充纹理、部件及语义线索。二者结合,比单纯依赖 RGB 或者深度更有利于理解物体的真实空间状态。
随后,F2G-Pose 利用 DGCNN 提取局部几何结构,将融合后的点云编码为一组物体 Token。
接下来,通过 MoE Transformer 整合物体整体结构。
局部特征可以帮助模型识别表面细节,但位姿估计需要理解整个物体:哪些结构彼此关联,哪些部件能够区分朝向,以及当前观察到的部分如何构成完整物体。
F2G-Pose 使用 Transformer 聚合这些信息,并引入混合专家架构(Mixture-of-Experts,MoE)增强表示能力。
网络设置 8 个专家,每个 Token 动态选择其中 2 个参与计算。这样的设计使模型能够以相对有限的计算开销,为复杂多样的物体几何提供更灵活的建模能力。
最后,不只是预测位姿,还要学习物体的完整形状。
这是 F2G-Pose 设计中另一个重要部分。
在共享的物体表示之上,网络设置了两个并行分支:一个直接预测物体的旋转、平移与真实尺寸;另一个根据已观测到的局部点云,逐步补全物体的三维形状。
形状补全采用由粗到细的方式,最终输出 2048 个三维点,且直接位于相机坐标系中,无需额外执行规范空间到相机空间的对齐。

动图 2|相机坐标系下的形状补全展示。
这不仅提供了一个可供下游模块使用的近似几何输出,更重要的是,形状补全本身也成为训练位姿估计网络的一种几何监督。模型不能只凭有限的外观特征猜测物体朝向,还需要学习可见表面与整体三维结构之间的联系。
最终,位姿、尺寸和形状由同一套 RGB-D 表示共同预测,整个推理过程不需要扩散采样、候选聚类或额外的位姿对齐优化。
03|更快,也更准:多项实验验证方法有效性
研究团队首先在 SOPE 合成数据集上训练模型。该数据集覆盖 149 个类别、约 5000 个物体实例。除视觉基础模型原有的预训练外,F2G-Pose 的任务网络仅使用 SOPE 合成数据训练,没有针对后续真实数据集单独进行训练。
在 SOPE 和 ROPE 基准测试中,F2G-Pose 均展现出具有竞争力的结果。
以衡量三维包围盒匹配质量的 IoU50 AUC 为例:
- SOPE:F2G-Pose 达到 43.7,GenPose++为 31.9。
- ROPE:F2G-Pose 达到 27.8,GenPose++为 19.1。

图 3|ROPE 定性结果:RGB 输入、位姿真值、GenPose++、F2G-Pose 与预测形状。
在论文采用的统一推理测试协议下,GenPose++运行速度约为 4 FPS,而 F2G-Pose 仅进行位姿估计时达到 28 FPS,速度约为前者的 7 倍;即使同时启用形状补全分支,完整模型仍达到 23.7 FPS。这里比较的是同一 RTX 4090、batch size 为 1、给定相同分割与 RGB-D 输入条件下的模型推理速度,不代表整套机器人系统的运行帧率。

图 4|ROPE 精度与延迟的权衡。K 为 GenPose++候选数量,红星为 F2G-Pose;两幅图分别展示 IoU AUC@50 与 VUS@5°2cm。
这说明,直接预测并不必然需要牺牲精度来换取速度。只要 RGB-D 表示能够充分整合视觉与几何信息,单次前向传播同样可以获得较高质量的结果。
消融实验进一步验证了各个模块的作用。在 ROPE 上,移除 RGB 视觉特征后,IoU50 AUC 从 27.8 下降到 16.2;用参数量相当的普通前馈网络替换 MoE 后降至 24.0;去掉形状补全监督后则下降到 23.2。
尤其值得注意的是,形状补全并不是一个与位姿估计无关的附加功能。即使最终只需要位姿结果,训练时引入完整三维几何监督,仍然可以帮助模型学习更可靠的物体表示。此外,在 HouseCat6D 形状重建实验和 HANDAL 真实物体跨数据集评测中,F2G-Pose 也展现出较好的迁移能力。
04|从数据集走向真实机器人
离线评测中预测准确,并不意味着机器人就一定能够完成操作。
为此,研究团队进一步搭建了真实机器人实验平台,使用 ARX 机械臂、平行夹爪以及 RealSense RGB-D 相机,开展基于物体位姿的抓取与放置实验。
测试对象包括瓶子、杯子、碗、锤子、平底锅等常见物体。系统根据估计的位姿和尺寸确定抓取接近方向与放置目标,利用补全形状辅助碰撞检查。
实验设置了 50 毫秒的感知决策时间预算,并对每种方法进行 80 次测试。
结果显示,F2G-Pose 完整模型在 80 次测试中成功完成 68 次抓取与放置,成功率为 85%,平均感知延迟约 36 毫秒,满足所设定的实时预算。这里的 36 毫秒来自真机实验的感知延迟统计,与前述基准测试 FPS 属于不同实验口径。作为对照,GenPose++完整采样流程完成 57 次放置,但平均延迟达到 256 毫秒;将其限制在约 50 毫秒时,成功放置次数下降至 45 次。
这些结果表明,在机器人部署中,位姿估计的价值不能只用离线精度衡量。预测延迟、输出稳定性,以及最终结果能否被下游规划模块可靠使用,同样重要。
F2G-Pose 并不是直接学习抓取策略的端到端机器人模型,而是为后续规划和操作提供更及时、准确的物体几何状态。这也让它能够作为一个相对独立的感知模块,接入不同的机器人系统。
05|让机器人更好地理解三维世界
当然,单帧 RGB-D 感知仍有其边界。
F2G-Pose 目前需要输入已分割的物体区域。当分割结果不准确、深度信息严重缺失,或关键结构被遮挡时,预测仍可能受到影响。对于高度对称、纹理较少的物体,单一视角也难以完全消除方向歧义。
尤其是在跨数据集条件下,实现高精度的三维几何对齐仍然具有挑战。
但这项工作的意义,在于验证了一条值得继续探索的路线:对于机器人最终需要使用的几何状态,可以通过基础视觉特征与三维几何的联合学习,直接预测,而不必在推理阶段始终依赖复杂的候选生成与筛选。
随着机器人逐渐走向更加开放、多样的真实环境,如何从有限观测中快速获得可靠的三维信息,将持续成为具身感知的重要课题。
F2G-Pose 为这一问题提供了一种兼顾精度、效率与实际部署需求的技术方案。
作者介绍
张晋瑜,上海创智学院和复旦大学联合培养具身智能方向博士生。研究聚焦具身智能与机器人学习,重点关注视觉语言动作(VLA)模型、大规模预训练和通用机器人操作,为 F2G-Pose 论文共同第一作者。

© THE END
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]