量子位 (微信公众号)T2·78 分
上海 AI Lab 等开源 Real2Gym：视频转仿真环境实现真机技能迁移，Token 用量降 74.9%
原标题：Token用量减少74.9%：Real2Gym把仿真经验变成真机可复用技能
- Real2Gym 利用 Pi3X 几何线索和 SAM2 分割技术，将多视角视频重建为 Blender 场景及对应的 MuJoCo 物理环境。
- 引入“动作能否在物理引擎中完成”作为场景验收标准，通过关键帧检查修正接触、支撑和稳定性误差。
- 支持在验证后的仿真环境中随机化物体位置、材质和光照，生成多样化任务以增强智能体的泛化能力。
- 实验表明该方法能有效将仿真经验迁移至真实机器人，并将训练过程中的 Token 用量降低 74.9%。