谷歌发布 Gemini 4 Argon：ERQA 基准得分 87% 领跑具身推理，打通机器人全生命周期控制与仿真重建

[附件: wrist_cam.png, obs.json]

任务：让机械臂重新调整马克杯使其直立，并将餐巾纸放入杯中。

## 执行纪律
- 只需输出 1 句观察结果，紧接着立即输出你的 `curl` 命令（第 1 轮包含 `# Plan:`，每一轮都包含 `# Thought:`）。所有所需信息均包含在 `obs.json` 以及绘制在 `wrist_cam.png` 上的校准标线/网格中。

## 视觉坐标参考（标注于 wrist_cam.png）
- `+X`（图像中的 UP/向上）：远离机器人底座 | `-X`（DOWN/向下）：朝向机器人底座
- `+Y`（图像中的 LEFT/向左）：世界左侧         | `-Y`（RIGHT/向右）：世界右侧
- `+Z`：高于桌面的高度                | `黄色数字`：世界 (X, Y) 坐标，单位为厘米（在 `grid_z` 处的 2 cm 网格）
- `青色 + 十字准星`：当前的 3D 捏取中心
- `青色 [ + ] 括号`：当前夹爪的开合线
- `绿色线条`：当前物体的长轴方向（`yaw_deg`: 0° = 沿 +X 垂直，90° = 沿 +Y 水平）
- `pitch_deg = 90°`：垂直向下 (-Z) 的俯视抓取/放置；`pitch_deg < 60°`：沿手指轴线倾斜的同轴接近

## 闭环回合工作流
1. 检查当前状态并查看 `wrist_cam.png`：
   `curl -s http://127.0.0.1:8081/obs`（返回 `ee_pos`、`holding`、`status`、`workspace`、`wrist_cam_path`）。
2. 在第 1 回合预先选择 VLM 调用粒度：
   - 粗粒度（2–4 次调用）：`look_at` -> `grasp` -> `place` -> `done`
   - 抓取前悬停验证（4–7 次调用）：`look_at` -> `goto(z=0.04)`（验证青色 `[ + ]` 括号是否跨在目标上）-> `grasp` -> `place_until_contact` -> `done`
   - 精细视觉伺服（8–20 次调用）：`look_at` -> `grasp` -> 预姿态 `goto` -> 闭环 `move_by` / `move_until_contact` -> `done`
3. 发送运动原语（`POST /plan`），并在每一回合后通过更新后的 `wrist_cam.png` 进行视觉验证。如果 `status == "grasp_failed"`，请调用 `robot.look_at(...)` 重新观察并恢复闭环控制。

## Code-as-Policies 原语 (`POST http://127.0.0.1:8081/plan`)
robot.look_at(x=0.35, y=0.13, z=0.14, grid_z=0.015)
x, y = robot.deproject(u=0.52, v=0.48, z_plane=0.015)
robot.grasp(x=x, y=y, z=0.015, yaw_deg=-35, pitch_deg=90)
robot.place(x=0.24, y=0.06, z=0.075)
robot.place_until_contact(x=0.24, y=0.06, z=0.015, max_lag=0.012, relief=0.002)
robot.goto(x=0.28, y=0.05, z=0.04, arc_z=0.14, pitch_deg=25, azimuth_deg=90, roll_deg=0, speed=0.10)
robot.move_by(forward=0.025, dz=-0.002, dpitch_deg=-3, droll_deg=5, speed=0.04)
robot.move_until_contact(dz=-0.06, speed=0.03, max_lag=0.012, relief=0.002)

Goal: {task_goal}

<omni_prompt>
[00:00.000] The left hand remains retracted at the side, keeping the workspace clear for camera visibility. The right hand reaches toward the target object on the table.
[00:02.500] The right fingertips push the object smoothly into the center of the table, leaving its starting area empty.
[00:05.000] The right hand opens and retracts to the side so all placed objects remain in clear view of the camera.
</omni_prompt>

在仿真启动之前，你可以调整以下内容：
(1) 静态物体资产：逼真的几何形状、碰撞体、质量、惯性、摩擦力和关节，外观需接近真实物体，以及 t = 0 时的初始物体姿态。
(2) 离线规划的机器人指令，仅在真实指尖靠近物体的帧中进行修改。每条指令必须保持在记录的遥操作轨迹的 0.55 rad（手臂关节）和 0.65 rad（手部关节）范围内。在其他所有地方，原样重放记录的轨迹。

禁止仿真作弊：任务物体只能通过机器人手与环境之间的真实 MuJoCo 接触（mj_step）来移动。
t = 0 之后不允许的操作：更改 MjModel 参数；对物体施加外力或力矩；焊接或等式约束；超出关节空间 PD 控制的前馈力矩；设置或回滚物体的 qpos/qvel；禁用或排除碰撞；报告非来自 MuJoCo 求解器的接触力（例如，复制记录的触觉读数）。

立即以交互式 HTML 会话查看器形式呈现重建的场景和 rollout 结果，每个 episode 一页，显示：
- 底部：同步时间轴（播放、拖动、速度控制），驱动所有面板。
- 左侧面板：交互式 3D Blender 场景，显示仿真的机器人和物体，随着回放进度显示接触点和力箭头。
- 右侧面板：所有 3 个摄像头的真实与仿真视图并排对比。真实与仿真手指力的可视化。

[Attached: egocentric_human_video.mp4, candidate_sim_views.png, hand_3d_keypoints.json]

你正在构建一个物理可解的 500 Hz MuJoCo 操作环境（`scene.xml`）以及 Blender 工作室渲染，以忠实复现 `egocentric_human_video.mp4` 中展示的双臂人形机器人桌面任务，该机器人配备具有 22 自由度的灵巧五指手：

1. 场景重建与相机标定：
   - 仅识别与操作相关的物体（被抓取的目标物体和接收容器或地标），并从第一人称视角相机的内参/外参三角测量其 3D 桌面坐标。
   - 用复合凸分解 3D 网格替换粗糙的边界框，使凹形容器（嵌套碗、凹槽木托盘、开放式料箱）能够支持物理内部放置。

2. 500 Hz 灵巧运动拟合压力测试：
   - 将 3D 人类手腕和手指关键点重定向到人形机器人的 7 自由度手臂和 22 自由度手部关节，并在 MuJoCo 中以 500 Hz（dt = 0.002s）步进轨迹，且无零运动学焊接约束。
   - 验证拇指与手指的对向力封闭、清洁的物体提升（> 2 cm）以及在目标地标内部或旁边的稳定最终放置。

### **3. 从草图到仿真**

借助 Argon，开发人员可以拍摄一张粗略的纸笔草图照片——显示 Apollo 2 人形机器人沿抛物线弧线投掷球体，以推倒桌上 3-2-1 堆叠的箱子——Argon 会自动构建 GPU 加速的 `mujoco_warp` 场景，合成平衡的 76 自由度全身及五指投掷轨迹，在闭环物理中验证 6/6 目标击倒，并导出 Blender 4.5 Cycles 渲染结果。

抱歉，您的浏览器不支持此视频播放

草图到仿真 — 手绘草图转换为灵巧人形机器人轨迹 & Cycles 渲染。

*提示词：*

```plaintext
[附件: hand_drawn_throw_sketch.jpg]

将此手绘草图转换为 `mujoco_warp` 中的物理验证人形机器人仿真，以及光线追踪的 Blender Cycles 视频：

1. 基于草图的场景与运动学设置：
   - 解析 `hand_drawn_throw_sketch.jpg` 中的空间布局：将 76 自由度人形机器人（32 自由度身体配备两个 22 自由度五指灵巧手）放置在原点，面向一张桌子，桌上有一个由 6 个刚性目标箱子组成的 3-2-1 金字塔结构，右手五指手中抓握着一个投射球体。

2. 全身平衡与灵巧投掷合成：
   - 合成一个 50 Hz 的全身投掷轨迹（140 步，2.80 秒），涵盖四个阶段：(1) 稳定站立姿态及五指强力抓握闭合，(2) 躯干/肩部蓄力并伴随踝-髋关节质心补偿，(3) 向前鞭打式加速，以及 (4) 在手部速度峰值时同步张开 22 自由度的五指，使球沿抛物线轨迹射入金字塔第二层中心。
   - 在 `mujoco_warp` 接触物理环境中验证人形机器人保持直立平衡（骨盆漂移 < 3 cm）并击倒全部 6 个目标方块。

[Attached: Aloha2_Origami_20250309.mp4]

Produce a time-aligned multi-granularity hindsight annotation JSON with four levels:
1. G1_episode_instruction: Concise imperative sentence describing the overall manipulation goal.
2. G2_subtasks: Contiguous semantic subtask phases specifying which arm(s) anchor vs. fold/rotate the object.
3. G3_atomic_primitives: Fine-grained contact-level primitives (3–15s) aligned with grasp closure, crease sweeps, release, or retry attempts.
4. quality_control_and_reweighting: Hold task_progress_pct flat during non-progressing slip/delamination retry loops and downweight them (0.15x–0.25x) for Behavior Cloning.

# Prompt 1 — Physics-Accurate MuJoCo Environment & Benchmark Generation
Make a MuJoCo environment where a dual-arm robot (two 7-DoF Franka FR3 arms with parallel-jaw grippers on a shared tabletop) is tasked to solve the classic 12-ball balance scale weight puzzle from https://www.mathsisfun.com/pool_balls_solution.html.
1. Create 12 visually indistinguishable pool balls in a 2x6 starting rack (11 standard 150 g, 1 odd ball either 270 g or 30 g).
2. Build a functional two-pan Roberval balance scale at the center of the table with parallelogram equality constraints (`mjEQ_JOINT`) so the Left (Gold) and Right (Teal) pans stay horizontal, plus Red (Heavy) and Blue (Light) submission trays.
3. Track distinct settled weighings (`weighing_count`) and reward `1.00` for isolating the true odd ball in the correct Heavy/Light tray within <= 3 weighings.

# Prompt 2 — Closed-Loop Vision-Only Solver
Implement an independent closed-loop policy relying strictly on stereo RGB camera inputs (`head_camera_left_rgb_image`, `head_camera_right_rgb_image`) and robot proprioception (`add_privileged_task_observations=False`):
1. Segment the 12 balls, Gold/Teal pans, and Red/Blue trays in both stereo views and triangulate their 3D coordinates.
2. Visually read the balance scale tilt after each weighing from stereo vertical pixel disparity (+1 = left heavier, -1 = right heavier, 0 = balanced).
3. Rotate the gripper wrist yaw by 90 degrees when grasping/placing inside the narrow scale pans to clear the raised rims, and isolate the odd ball into the Red or Blue tray within <= 3 weighings.

[Attached: umi_head.mp4, umi_left_gripper.mp4, umi_right_gripper.mp4]

Look at 3 videos of human wearing a gripper performing activities from head, left, right gripper views. Look at the videos thoroughly and give a detailed plot of progress at the task (with positive, neutral, negative slope), identifying important segments in the video and labeling the activities. Look at individual frames or subsegments of the video if necessary to get a better understanding.

[Attached: real_tabletop_photo.jpg]

你有一张俯视 RGB 相机照片（`real_tabletop_photo.jpg`），拍摄的是一个双臂机器人工作区（两个配备平行夹爪的 7 自由度 Franka FR3 机械臂，以及 4 个 RGB 相机），面向一张摆放着照相亭派对道具的桌子。
1. 为所有 9 件派对道具重建程序化 3D 网格和复合 MuJoCo 碰撞基元，使其匹配真实世界的尺寸、颜色和静止姿态，包括用于柔软毛绒帽子的弹簧铰链式可变形冠部面板。
2. 定义一个包含 77 项任务的单臂和双臂课程（抓取放置、扶正、定向推动、空中交接、双臂舀取并推动，以及流水线式桌面清理）。
3. 合成一个闭环逆运动学（IK）轨迹生成器，覆盖 ±10 cm 的姿态随机化，在 MuJoCo 物理环境中验证 `reward == 1.0`，并导出超过 4,500 个 episode 用于 VLA 微调。

### **2. 视觉抓取与放置的自我改进**

在一个简单的 6 自由度机械臂上，Argon 通过试验和自我反思，迭代地提升抓取与放置任务的执行速度和放置精度。

抱歉，您的浏览器不支持播放此视频

SO-101 视觉引导抓取与放置 — 跨迭代 1 → 2 → 3 的硬件自我改进：迭代 1（58.9秒），迭代 2（22.9秒，放下时擦过盒子边缘），以及迭代 3（17.4秒，正中落下）。

*提示词：*

```plaintext
# Stage 1 — Measure Objects & Dry-Run Plan (No Hardware Motion)
Stage 1: measure objects — find the objects and plan the whole motion. The arm does not move in this stage.

A. I put a LEGO brick and a box on the table in front of the arm, and the wooden box to one side. Find the brick and the wooden box in the image. And also in the real world. Show this in an annotated image.

B. A dry-run plan (no hardware). Write the planner to pick and place the lego block. Print the plan table, draw all poses onto the overhead image, and stop. Do not move the robot.
Report with evidence.

# Stage 2 — Pre-Pick Hover & Wrist-Camera Verification
Stage 2: Put the gripper above the brick without touching it, and verify with the wrist camera that the arm and the vision agree. Please record executions with both cameras (compressed video is OK).

# Stage 3 (Autonomous Pick-and-Place → Self-Improvement → Optimization):
1. Execute autonomously: Turn the Stage 1 dry run into a real grasp, lift, and place into the wooden box. Run it yourself subject to safety rules from AGENTS.md.

2. 自我改进：当尝试失败时，自行诊断。审查自己的日志和腕部/俯视视角视频，找出根本原因，在试运行中验证修复方案，然后重试。

3. 基于反馈优化：一旦成功，在安全限制内（规则 R5）将其速度至少提升 2 倍，除非我授权进一步提速或提供反馈。

[附件: paper.pdf, optional author_checkpoints/ or urdf_assets/]

从头开始使用 MuJoCo WebAssembly 复现论文 "<Paper Title & arXiv ID>"，并部署一个自包含的浏览器实验环境 + 视觉文章：
1. 在 MuJoCo XML 中精确匹配论文的物理时间步长、执行器增益 (kp/kv)、扭矩限制和运动学约束，并使用 JavaScript 以论文指定的精确控制频率运行真实的神经网络推理或 Web Worker iLQR。
2. 构建 `index.html`（带有相机预设、实时遥测图表和扰动注入功能的 Spatial UI 模拟器）和 `scrollytelling.html`（交互式视觉文章）。
3. 运行无头 Chromium (Playwright) 验证循环，断言控制台错误数为 0，且在 300+ 帧内任务进度非零。