Xiamen University and NTU Release RoTA-Bench for 3D Pose Perception in VLMs
A team from Xiamen University and Nanyang Technological University proposes RoTA-Bench, an interactive 3D-to-2D projection alignment benchmark that tests whether vision-language models can turn 2D observations into 3D understanding precise enough to drive rotation actions. It fills the gap between static spatial QA without action feedback and general interactive benchmarks that do not isolate geometric pose reasoning, targeting the perception-control link in embodied agents.
Related Entities
Full Report
认出一个物体之后,换个角度还能认出来,进一步想象它转动后的样子,这些都涉及空间感知。人类需要在头脑中表示物体的形状与方向,理解不同视角之间的关系,并从二维投影中推断三维几何。
当视觉语言模型进入交互场景,这种理解还需要落到动作上。一次旋转会改变物体的轮廓、比例和遮挡关系;模型需要先预判变化,再观察执行结果,决定下一步怎么调整。回答对一道空间关系题,能否进一步支持这样连续的姿态控制?
现有基准对此各有侧重。静态基准通常通过固定图像上的问答评估空间推理,缺少动作执行和闭环反馈;许多交互式基准则关注任务规划、工具调用或路径搜索。这些任务能够考察交互能力,却难以专门检验模型能否从视觉线索理解三维方向,并将这种理解转化为精确旋转。
因此,视觉语言模型能否把二维观察转化为支持精确动作的三维理解?
这要求模型联系物体的几何与姿态,预判旋转对投影的影响,并利用动作后的新观察不断修正。对于需要探索环境、理解几何并采取行动的智能体来说,这些判断连接着视觉感知与实际控制,也正是业界希望通过评测进一步观察的能力。
为此,来自厦门大学与南洋理工大学的团队提出了RoTA-Bench,通过交互式3D-to-2D投影对齐来评估这一能力。
论文链接:https://arxiv.org/abs/2610.17665
代码与数据集:https://github.com/MAC-AutoML/RoTA-Bench
在线****Demo:https://www.modelscope.cn/studios/san2333333/rotabench-anon?mode=full&app_path=%2Fportal
Hugging Face:https://huggingface.co/papers/2610.17665
下面是RoTA-Bench中一个真实任务的交互界面。图片左上是T恤形状的目标轮廓,左下是物体当前的投影,右侧是带有深度明暗的物体视图。任务要求选择旋转动作,逐步让当前投影与目标轮廓对齐。

RoTA-Bench的真实任务示例。图片左上为目标轮廓,左下为当前投影,右侧为深度明暗辅助视图;底部按钮用于选择旋转方向与角度。
先往左转一点,还是先向上翻?这一步该转30°,还是只调5°?规则很直观,但每一步都需要将二维画面与三维姿态联系起来。
实验中,GPT-5.6-Sol在100个测试任务上的成功率为17%;20位本科生共同完成的400次任务运行则全部成功。
这个差距值得进一步拆开看:模型在哪一步遇到了困难?轮廓看起来更像目标,是否就意味着三维姿态也转得更对?
看到这张图之后
下一步该怎么转?
以前面的T恤示例来说,左右转动可能改变两侧轮廓,向上翻转可能改变整体比例;同一个物体换一个朝向,也可能出现遮挡。模型需要把眼前的投影与背后的三维姿态联系起来,判断应该沿哪个轴、朝哪个方向、转多大角度。
在RoTA-Bench中,模型每一步都会看到三部分信息:目标轮廓、当前投影,以及与当前投影使用相同视角的深度明暗辅助视图。辅助视图补充了二值轮廓中缺失的深度和遮挡线索。
随后,模型从24种离散旋转动作中选择下一步:三个旋转轴、正反两个方向,搭配**1°、5°、10°、30°**四种步长。每次执行后,环境重新渲染画面,模型再利用更新后的观察和交互历史继续调整。
这里既需要较大幅度的转动,也为精细调整保留了空间。朝向还差很多时,可以选择较大的步长;接近目标时,则可以尝试更小的角度。
当当前投影与目标轮廓的交并比(IoU)达到0.90,任务成功。IoU衡量两个轮廓的重叠程度,数值越高,投影越接近。评测最多允许48次决策,也设有主动停止和停滞终止规则。
研究人员将交互限制为纯旋转,是为了把三维方向推理与平移、抓取、接触摩擦等因素区分开来,让问题集中在「如何根据视觉证据控制姿态」上。
这些物体从哪里来
为什么保证转得回去?
如果直接使用常见三维物体,模型可能借助熟悉形状的先验作判断。
为了减少这类语义捷径,研究人员从二维矢量图标出发,在球形体积约束内构造三维物体。生成的物体在标准正面投影下能够还原原图,并保留细节。
接下来,用一串可逆的离散旋转把物体转到初始姿态。既然每一步都可以逆转,就能够通过逆序旋转回到目标姿态,从构建过程上保证任务可解。
在此基础上,研究人员进一步搜索并验证参考路径,按照参考路径长度分层选取测试任务。这里的参考路径用于任务筛选与分析,并不保证是最短解,也不会提供给被测模型。
最终,RoTA-Bench包含674个任务,其中100个任务组成冻结测试集,其余574个保留供后续训练与研究使用。

任务构建与闭环评测流程(论文图2)。图片上半部分展示从二维图标生成三维物体、通过可逆旋转初始化、验证参考路径与选取测试任务的过程;下半部分展示「观察—选择旋转—更新画面」的闭环评测。
一级同样的任务
人类和模型相差多少?
研究人员评测了9个视觉语言模型、2种智能体配置,并邀请20位本科生参与人类实验。
在100个测试任务上,GPT-5.6-Sol的成功率为17%,是本次评测中观察到的最高模型成功率。人类实验中,每位参与者完成一个包含20个任务的区块;20位参与者合计将整个测试集覆盖四遍,共400次任务运行,全部成功。
人类与模型使用相同的任务、视觉观察、旋转动作空间、决策预算和成功标准。人类通过按钮提交动作,模型通过结构化输出提交动作,最终都映射为相同的旋转操作。

RoTA-Bench总览(论文图1)。图片左侧为参考路径长度分布,中间为T恤任务示例,右侧为测试集成功率与最终IoU。人类结果汇总了每个测试任务的四次运行。
从旋转过程也能看到差距。人类轨迹的平均IoU随动作推进而整体提升,最终越过成功阈值;模型轨迹则较早进入平台期,多数停留在0.50—0.63附近。

平均投影IoU随已执行旋转步数的变化(论文图3)。结果基于同一组100个测试任务,包含人类的400次运行;虚线标出0.90的成功阈值。任务提前结束后,最终IoU保留至第48步。
但成功率只说明了最后有没有完成。要理解差距,还需要回到每一步:方向选得对不对,角度是否合适,投影变化与三维姿态变化是否一致?
往哪边转、转多少度
分别难在哪里?
模型没完成任务,会不会只是因为看到的物体表面还不够多?论文先检查了累计表面观察覆盖率:GPT-5.6-Sol为79.58%,人类为83.07%。两者的总覆盖率接近,但具体看过哪些区域、怎样利用这些观察,仍可能不同。
因此,研究人员进一步把每次旋转拆成两个选择:方向,也就是旋转轴与正负方向;角度,也就是这一步转多大幅度。
先看方向。如果沿某个方向,至少存在一种合法角度能够减小三维姿态误差,就将这个方向记为「有效方向」。
GPT-5.6-Sol选择有效方向的比例为58.75%,人类为83.91%;均匀随机选择的对应值为53.78%。这说明,选择能够改善姿态的旋转方向,已经是模型面临的一道难题。
再看角度。即使选中了有效方向,转得过多或过少,也可能影响对齐。研究人员在已选中的有效方向内,比较模型选择的角度与最能减小姿态误差的合法角度。GPT-5.6-Sol的平均角度差为6.49°,人类为2.99°;选中最优合法角度的比例分别为61.80%和71.82%。
方向与角度选择诊断,数据摘自论文表1。角度相关指标仅在所选方向有效时计算;「有效方向」并不保证实际选中的角度也能改善姿态。
方向和角度的误差共同构成了动作层面的差距。把两者拆开,就能进一步判断:模型有没有找到合适的转动方向,以及沿着这个方向时,能否做出精细调整。
研究人员还分析了旋转角度与动作前投影IoU、三维姿态误差的关联。对GPT-5.6-Sol来说,角度与投影IoU的相关性更强;人类选择的角度则与两者都有较强关联。这与论文中多数模型的相对模式一致,提示模型的角度选择可能更多关联于可见的投影重叠。
旋转角度与动作前投影IoU、三维姿态误差之间的Spearman相关系数绝对值(论文图4)。蓝色表示IoU—角度关联,橙色表示姿态误差—角度关联;误差线为原始95%bootstrap区间映射到绝对值后的结果。该图展示关联强弱,不直接揭示模型内部的判断机制。
轮廓更像
姿态却可能更偏了
旋转后,当前轮廓与目标重叠得更多,看起来是一个好信号。但三维物体的不同姿态可能产生相似投影,二维画面上的局部改善,并不总与三维姿态误差的减小同步。
为了比较这一现象,研究人员找到了人类与GPT-5.6-Sol轨迹中211对相同姿态的状态配对,观察它们接下来各自选择的动作。
在这些配对中,模型有19.4%的动作让轮廓重叠改善,却使姿态对齐变差;人类对应的比例是10.9%。反过来,人类也更常选择暂时降低投影重叠、但减小三维姿态误差的动作,比例为33.2%,模型为23.7%。

211对匹配状态下的动作结果(论文图5)。图片左侧为四类动作的比例:UC同时改善IoU与姿态,DC仅改善姿态,UF仅改善IoU,DF两者均变差;右侧汇总动作前的旋转次数、表面覆盖率及动作带来的平均变化。
从而能够把「看起来更像」和「姿态更接近」分开观察。这里匹配的是当前姿态,之前的观察和动作历史仍可能不同;这些结果描述了人类与模型在共享状态下的动作差异。
任务最终仍以投影IoU为成功标准,三维姿态误差用于额外诊断。由于几何对称和投影重叠,成功也不要求物体恢复到唯一姿态。
刚才怎么转过
也会影响下一步
交互的意义还在于,模型可以比较动作前后的画面:刚才转了多少,轮廓怎样变化,下一步是否该缩小角度。
研究人员在同一组30个任务上,对GPT-5.6-Sol做了输入消融实验。保留完整输入时,它完成了5/30个任务;移除交互历史、保留当前观察与任务说明后,观察到的成功数降为0/30。
动作选择也发生了明显变化:30°旋转的占比从62.75%上升到96.76%,1°调整的占比从12.18%降到0.16%。精细调整几乎消失。
GPT-5.6-Sol在同一组30个测试任务上的输入消融结果(论文表2)。A为完整输入,B为移除辅助视图,C为移除历史,D为同时移除两者;表中同时报告成功率、最终IoU、有效方向选择率和各角度的动作占比。
相比之下,选择有效旋转方向的比例变化较小。在这组实验里,历史信息对「转多大角度」的影响,比对「往哪个方向转」的影响更明显。此前的观察和动作,可能帮助模型判断何时应在较大的转动之后进行更细的调整。
这些结果表明,在所测设置中,模型的精细控制对交互历史敏感。
从一张轮廓
走到下一次准确旋转
回到开头那件T恤。完成任务,需要从目标与当前画面中提取线索,推断姿态,选择旋转,再根据反馈修正。RoTA-Bench将这些过程放进同一个闭环,既看最后有没有对齐,也看中间每一步如何选择方向与角度。
实验结果显示,观测、感知并且调整3D物体的位姿,仍然是被测模型面临的挑战。
未来,该受控任务可以帮助研究者更具体地观察问题,也为后续模型改进提供可核验的评测环境。
参考资料:
https://arxiv.org/abs/2610.17665
秒追ASI
⭐点赞、转发、在看一键三连⭐
点亮星标,锁定新智元极速推送!

