Dream Labs 发布 Dream-1 零样本驱动双臂机器人
Dream Labs 结束隐身状态并获 9000 万美元种子轮融资,推出通用机器人智能体 Dream-1。该模型通过 API 提供零样本能力,无需微调或特定数据即可直接控制新硬件执行任务,旨在打破机器人行业的数据冷启动困境。
报道正文
本文目录13 个章节
给 Dream-1 配备一台带有平行夹爪的新双臂机器人,将其连接到我们的 API,它就能开箱即用地执行任务。无需微调,无需该机器人的演示数据,也无需机器学习专业知识。
这是迈向通用机器人智能的重要一步。
今天,Dream Labs 也正式走出隐身模式,获得 9000 万美元的种子轮融资,并通过公开 API 向全球用户开放 Dream-1。
01
打破“先有鸡还是先有蛋”的困境
机器人领域的“先有鸡还是先有蛋”问题。
几十年来,机器人领域一直陷入“先有鸡还是先有蛋”的困境:机器人必须先具备实用性,人们才会愿意购买;但要让它变得实用,又需要来自该特定机器人的数据,而这些数据只有在足够多的人开始使用它之后才会存在。Dream-1 是我们打破这一循环的第一步。
自动驾驶找到了一种绕过冷启动问题的方法。汽车从第一天起就具有零自主性的实用价值,因此数百万人每天驾驶它们,并生成了训练日益强大模型所需的数据。大多数其他机器人从未拥有这种优势。
有两件事正在改变这一局面。
首先,机器人硬件正变得足够便宜,从而能触达更广泛的人群。一套功能强大的双臂机械臂配置如今最低仅需 $2k1。
其次,机器人在具备实用性之前可能不再需要庞大的自有数据集。如果模型能够零样本(zero-shot)泛化到未见过的环境、任务甚至机器人本身,那么新机器人就可以从一开始就具备有用的能力。
将这两点结合起来,飞轮效应终于可以启动了。更便宜的硬件让更多机器人进入世界。可泛化的模型让这些机器人更早地变得有用。有用的机器人产生更多数据,而这些数据又使模型对下一台机器人更加完善。
02
廉价、亲民机器人的寒武纪大爆发
Dream Labs 赋能机器人。
机器人硬件降价的速度比任何人预期的都要快。看看上面的机器人,7 款半人形机器人的总成本低于 1.5 万美元,而这一价格区间在一年前几乎不存在。在价格曲线的另一端,Hugging Face 售价 399 美元的 Microduck 在 8 月底发布后的 4 天内销量超过 10,000 台2。我们相信,机器人行业的起飞将从这类机器人开始。
$2,000
一套双臂机械臂配置
截至今天,一套功能强大的双臂配置。
7
低于 $15k 的半人形机器人
轮子、双臂、平行夹爪;一个一年前几乎不存在的层级。
$399
Hugging Face Microduck
于八月下旬发布。
10,000+
Microducks 在 4 天内售罄
发布后四天内即售出超过一万台。2
这是因为他们的买家是消费者、专业用户(prosumers)和小团队,而非企业。企业买家做的是基于电子表格的决策。如果机器人没有在成本、速度或可靠性上超越人类,它就不会被购买;这是一个很高的门槛。消费者则不同。超过一万人仅仅在 4 天内就支付了 $399,购买了一款主要任务是讨人喜爱和可爱的机器人:它会走路、摇摇摆摆地移动,还能玩轮滑。介于这种可爱玩具与功能完备的家庭机器人之间,存在一个甜蜜点——一款价格足够低廉从而让人轻松买单,同时又足够实用从而能在家庭中找到立足之地的机器人。一旦机器人达到这个临界点,我们认为采用率将开始呈复利式增长,而家中的每一台机器人都将成为新的训练数据来源。想象一下,两只 Microducks 正在帮你折叠衣物,用它们的喙作为夹爪。
03
开启 Dream Labs 的成果
2026 年 2 月,我们的团队发布了 DreamZero,这篇论文引入了 World Action Models3。此后,社区已将 WAMs 采纳为机器人学习中最有前景的范式之一。当时对我们来说最令人惊讶的结果是,在仅使用 30 分钟的 YAM 机器人数据对 DreamZero 进行后训练(post-training)后,我们观察到它在从未见过的任务上实现了零样本(zero-shot)泛化。这种类型的泛化过去通常需要数百甚至数千小时的特定具身(embodiment-specific)数据。如果来自某个机器人的 30 分钟数据足以将通用任务知识迁移到该机器人身上,那么打破“先有鸡还是先有蛋”的循环就不再显得不可能了。结合上述硬件浪潮,时机似乎已经成熟。正是在那时,我们决定创立 Dream Labs。
经过六个月的构建,我们很高兴分享一项新的研究突破,这项突破只有在世界动作模型(world action models)的支持下才成为可能:零样本具身泛化的早期迹象。
04
介绍 Dream-1
Dream-1 是我们首个通过公共 API 提供、可在全球范围内使用的世界动作模型(World Action Model)。开箱即用,它可以控制未见过的机器人执行未见过的任务,适应未见过的环境。
Anvil Robotics 加勒比海地区
将糖果分类放入容器中 1 of 2
BitRobot 中国深圳
抽出一张纸巾 1 of 4
CortexSingapore
将白色杯子叠放在粉色杯子上 1 of 2
EastworldKL, Malaysia
将苹果放入棕色盒子中 1 rollout
Hugging FaceParis, France
拿起红色立方体并将其放入绿色容器中 1 rollout
KAISTSeoul, Korea
折叠盒子 1 rollout
XDOFJakarta, Indonesia
找到记号笔并拿起它 1 rollout
RoboCurveSan Francisco, USA
将三个瓶子全部直立放置 1 of 4
Scale AISan Francisco, USA
将立方体堆叠成一座塔 1 of 9
Robo Inc.Los Angeles, USA
将薯片移至托盘中 1 rollout
MeckaNew York, USA
从松散的试管架中取出一支试管 1 rollout
AgiBotShanghai, China
将苹果夹到盘子里 1 rollout
Autonomous · 4×
折叠连衣裙。
将台面上的餐具清理到水槽中。
拔下蓝色荧光笔的笔帽。
将马克杯挂在杯钩上。
拿起猫砂铲,在猫砂盆内铲动。
将食品罐头从箱子里补充到货架上。
将鸡蛋放入蛋盒中的空位。
折叠衬衫。
将吸管插入瓶口。
用蓝色海绵擦拭台面。
将工具放回各自的插槽中。
将左侧碗中的水果倒入右侧碗中。
从三本书的书堆中抽出中间那本。
将绿色餐垫对折。
用毛巾擦干盘子,并将其放在晾架上。
打开盒子,取出粉色跳绳,然后盖上盖子。
用刀将切好的胡萝卜推到砧板右侧。
折叠长袖衬衫。
Dream-1 能够完成的未见任务(Unseen Tasks)。自主运行。在 Beta 测试者站点以 8x 速度播放,内部演示为 4x。
04.1
几分钟内即可上手
我们希望通用机器人技术能让任何拥有机器人的人都能使用,而不仅仅是大型实验室。因此,我们将 Dream-1 设计得尽可能接近即插即用。连接你的机器人,指向 API,然后运行。入门无需机器学习背景知识。我们每周举办内部黑客马拉松,以尽可能缩短部署时间。入门教程
import dream
client = dream.DreamClient(
api_key=<API_KEY>,
)
client.policy({"checkpoint": "dreamlabs/dream-1"})
client.set_observation(observation)
action = client.get_action()
client.close()精简后的客户端代码
04.2
在从未见过的机器人上实现零样本(Zero-shot)
Dream-1 能够零样本泛化到许多双臂、平行夹爪机器人。以下是我们测试过的部分机型。它甚至可以控制原始的 PR2,这是一款发布于 18 年前的通用双臂研究机器人。请注意,这些演示结果并未使用任何特定于具身形态(embodiment-specific)的数据。
AI Worker | ROBOTIS 将大旋钮转动,使其指针指向红色标记
ALOHA | Trossen (Interbotix) 按下大的红色蘑菇按钮
ARX X5 | ARX 将麦片盒侧翻倒下
Baxter | Rethink Robotics 按下大的红色蘑菇按钮
Bracket Bot | Bracket Bot 将塑料瓶侧翻倒下
Franka Research 3, two arms | Franka Robotics 将麦片盒侧翻倒下
Galaxea A1Z | Galaxea 将网球推入篮筐中
Gen3, two arms | Kinova 将雨伞放入桶中
LBR iiwa 14 | KUKA 拿起胶带并将其放入圆形白色收纳箱中
Maker Arm | MakerMods 合上眼镜盒
Mantis | Blue Worm 从盒子把手中拉出电缆
Metal Arm | MakerMods 将胶带卷套在瓶子上
OpenArm 2.0 | Enactic 合上眼镜盒
OpenYAM | Anvil Robotics 握住刀柄(切勿握刀刃)拿起刀,并将其放入托盘中
PiPER, two arms | AgileX Robotics 双手握住锅的两个把手将其提起,搬运至红色垫子上并平稳放下
PR2 | Willow Garage 按下大的红色蘑菇按钮
reBot B601-DM | Seeed Studio 握住刀柄(切勿握刀刃)拿起刀,并将其放入托盘中
Sawyer, two arms | Rethink Robotics 关闭顶层抽屉
SO-101 | Hugging Face 将塑料瓶侧翻倒下
Trossen Workbench | Trossen Robotics 握住刀柄(切勿握刀刃)拿起刀,并将其放入托盘中
Unitree R1 | Unitree 将小碗放入大碗中
UR5e, two arms | Universal Robots 握住杯柄拿起马克杯并将其放在托盘上
WidowX 250, two arms | Trossen (Interbotix) 按下大的红色蘑菇按钮
xArm 7, two arms | UFactory 将塑料瓶侧翻倒下
YAM + UMI gripper | I2RT x GenRobot.AI 将塑料瓶侧翻倒下
YAM-7 | I2RT 将塑料瓶侧翻倒下
YuMi | ABB 将麦片盒侧翻倒下
OpenYAM | Anvil Robotics 将手巾搭在架子上
OpenYAM | Anvil Robotics 用毛巾盖住饺子
YAM + UMI gripper | I2RT x GenRobot.AI 拉动毛巾,将盘子移至桌子中央
Maker Arm | MakerMods 将海绵放入狗窝中
OpenYAM | Anvil Robotics 折叠毛巾
Metal Arm | MakerMods 请将香蕉放入碗中
reBot B601-DM | Seeed Studio
Go ahead and put the banana in the bowl
YAM + Enpire grippersI2RT x Enpire
Put the straw into the bottle neck
Metal ArmMakerMods
Put the grape into the pan
OpenYAMAnvil Robotics
Close the top drawer
reBot B601-DMSeeed Studio
Push the tennis ball into the basket
OpenYAMAnvil Robotics
Put the baby bottle in the pen holder
Maker ArmMakerMods
Pull the towel to bring the plate to the center of the table
OpenYAMAnvil Robotics
Grab a handful of cotton balls and put them in the cup
OpenYAMAnvil Robotics
Set the tennis ball on top of the upside-down mug
Metal ArmMakerMods
Stack the bowl inside the small pot
OpenYAMAnvil Robotics
Put the plate on top of the basket like a lid
OpenYAMAnvil Robotics
Hang the headphones on the hook
YAM + UMI gripperI2RT x GenRobot.AI
Put the fruit that is not the kiwi in the basket
reBot B601-DMSeeed Studio
Pick up the mango and place it in the bowl
Vega 1 Pro + YAM GripperDexmate x I2RT
Pick up all markers one by one and put into black pencil holder using both arms
Unseen Robots Dream-1 was able to control. 4x speed on real robots, 3x in simulation.
This is one of the first reported zero-shot generalizations to completely unseen robot embodiments.4 If you have a bimanual parallel-gripper robot, try prompting Dream-1 and let us know how it goes. Zero-shot performance depends partly on your robot's inverse kinematics (IK) solver, so we've written a guide to help you get the most out of it. IK guide. Performance also varies across robots. Below, we break down zero-shot performance in simulation and on real robots.
Dream-1 zero-shot performance on 27 unseen robots in simulation and 4 real robots, relative to YAM, the robot Dream-1 was actually trained on. The real robots ran earlier Dream-1 checkpoints that never trained on them, each compared with the same checkpoint on YAM; OpenYAM was tested on unseen tasks only. Simulated evaluations are conducted by doing 300 rollouts per embodiment: 150 rollouts of 50 tasks quantifying language following and 150 rollouts of 150 tasks quantifying unseen task generalization.
Below, we explain how zero-shot embodiment generalization works and where it falls short. We then show how one-shot embodiment learning closes that gap.
04.3
How zero-shot embodiment generalization works
控制机器人的两种方式:关节或末端执行器。 机器人策略通常输出关节角度,这会将它们绑定到特定机器人的本体上。Dream-1 也可以对其原生支持的具身形态(embodiments)这样做,但它还能预测末端执行器(EEF)的位姿:即每个夹爪应处于什么位置,以及是张开还是闭合。所有配备双臂和平行夹爪的机器人共享这一 EEF 动作空间,并通过各自的逆运动学(IK)求解器将位姿转换为关节指令。这种共享接口为 Dream-1 提供了一种通用的方式来指挥它从未见过的机器人,但仅凭这一点还不足以实现零样本迁移。
为什么这种方法有效? Dream-1 通过三个摄像头观察世界:一个头部视角和每只手臂上的腕部视角。此前关于 通用操作界面 (UMI) 的研究表明,当所有机械臂使用相同的夹爪且策略仅依赖腕部摄像头时,策略可以在不同机械臂之间实现零样本迁移5。从腕部的视角来看,这些机器人看起来完全相同。但这种捷径存在硬性限制:它仅在夹爪硬件完全匹配时才有效,并且放弃了头部摄像头对整个场景的观察。
世界动作模型(World Action Models, WAMs)消除了这一限制。WAM 学习同时预测视频和动作,因此控制机器人和想象机器人将要做什么本质上是同一个问题。而且,所有机器人都以相同的方式呈现:作为像素。头部摄像头看到的 UMI 夹爪、两指夹爪或 Dream-1 从未见过的机械臂,不过是场景中移动的形状,这使得视频成为所有机器人类型共享的唯一表征形式。如果 Dream-1 能够预测机器人在完成任务时的外观,它就能生成引导其达到该状态的动作。这就是为什么它可以控制那些夹爪外观与 UMI 截然不同的机器人,甚至是通过头部摄像头观察到的全新本体。
世界动作模型的工作原理。
04.4
Dream-1 能做什么和不能做什么
Robocurve 对 Dream-1 的独立报告:在 RoboDojo-RC Tier 1 中每次任务尝试的平均得分。
在正式发布之前,Robocurve6——一家致力于向公众测量并报告前沿机器人能力的公益公司(Public Benefit Corporation)——对 Dream-1 进行了独立评估。其报告如上所示,表明 Dream-1 更优、更快且成本更低:为机器人控制开辟了新的帕累托前沿(Pareto frontier)。它的得分高于次优模型 Opus 5.5 和 Gemini 4 Argon,单次任务尝试的成本仅为 Gemini 4 Argon 的 1/16,速度比最快的 LLM GPT-6 Astra 快 1.7 倍。虽然当前的 LLM 擅长规划,但机器人仍然需要一个快速、通用的“系统 1”(System 1)来执行动作,而这正是 Dream-1 的设计初衷。
运行 Dream-1 的成本是多少? 我们希望你在试用前确切了解预期情况。运行 Dream-1 模型的每小时成本仅为 3 美元,Dream-1-flash 则为每小时 2 美元。每次调用模型返回 1.6 秒的动作数据,因此一小时包含 2,250 次调用:对于 Dream-1,每个动作的成本约为 0.0009。
$3 / 小时
Dream-1
超出每小时成本的部分归你所有。
$2 / 小时
Dream-1-flash
更快、更轻量级的模型。
跨任务表现。 我们将 Dream-1 的性能细分为八个任务类别,从它处理得较好的领域到仍需改进的地方。
通过 FaaS 为你的任务进行微调。 如果 Dream-1 在你关心的某项任务上表现不足,你无需等待我们的下一次发布。只需在自己的机器人上收集一些数据,通过 FaaS 进行处理,即可获得一个为该任务定制的模型。
我们希望任何拥有机器人的人都能像前线部署工程师一样工作:找到一个需要完成的任务,收集少量数据,将 Dream-1 适配到该任务,然后部署。如果有人愿意为你机器人的服务付费,那么超出每小时成本的所有收益都归你所有。
04.5
一次性具身学习(One-shot embodiment learning)
当零样本(zero-shot)能力不足时,我们会针对你的机器人对 Dream-1 进行微调。我们称之为“微调即服务”(Fine-tuning-as-a-Service, FaaS)。
以下是实际操作的示例:这是在我们两家合作伙伴的机器人上进行数据采集的延时摄影,每段时长 5 分钟。
00 / 00 数据采集延时摄影 以 8 倍速播放两台机器人各 5 分钟的数据采集过程:左侧为 reBot B601-DM,右侧为 Maker Arm。
仅基于这 5 分钟数据进行适配后,与零样本运行的对比效果立竿见影。Dream-1 现在能更好地理解机器人的可供性(affordance)和运动学特性。
reBot B601-DM
模拟孪生体
时间 0 + 5 分钟 时间 0
Maker Arm
真实机器人
Time0 + 5 min Time0 Zero-shot 与经过 FaaS 后的同一指令对比:“go ahead and put the banana in the bowl”(把香蕉放进碗里),中间间隔五分钟机器人自身数据:reBot B601-DM 在其仿真孪生体中,Maker Arm 在真实机器人上。3x 速度。
某些具身形态(embodiments)与 Dream-1 已掌握的知识差距较大,弥合如此大的差距需要更多机器人自身的数据。Dexmate 配备 Sharpa 灵巧手,用手抓取代替夹爪,耗时 77 分钟的数据采集。在 YAM 上,我们为这项任务更换了不同的末端执行器——一个柔性夹爪和一个改装过的刀形夹爪,耗时 98 分钟的数据采集。
5x 速度
Dexmate,Sharpa 灵巧手,77 分钟数据
从烤面包机中取出面包并放到盘子上
5x 速度
YAM,柔性夹爪和改装刀形夹爪,98 分钟数据
切掉草莓的叶子
在远离 Dream-1 训练数据的具身形态上进行 FaaS 后,在真实机器人上的表现。5x 速度。
在我们 FaaS 测试合作伙伴提供的十二款机器人中,微调提升了其中十款的语言跟随得分:
Zero-shot 与经过 FaaS 后的同一组十二款机器人在仿真中的对比,相对于 YAM。
One-shot 适应仍然优于 zero-shot,因此仍存在差距。缩小这一差距是我们的主要目标之一:zero-shot 性能越好,任何新机器人就越能开箱即用。
05
展望未来
目前的 Dream-1 是针对配备平行夹爪的双臂机器人的操作策略。这只是一个起点。我们相信,一个强大的通用机器人基础模型可以扩展到移动操作机器人、灵巧手以及我们尚未想象到的其他本体形态,从而解锁更多人们真正希望机器人完成的任务。机器人技术不会在第一天就彻底解决,Dream-1 也存在真实的局限性,我们在上文已尽力透明地展示这些局限。
机器人领域仍陷入一个艰难的循环:每引入一个新机器人或新任务,都需要新的数据和定制策略,且往往泛化能力有限。通过将 Dream-1 作为机器人 API,我们希望打破这一循环,将机器人智能交到更多人手中,使普通用户而不仅仅是研究人员,都能发现通用机器人智能的新应用场景。
Dream-1 . public API
将 Dream‑1 部署到你的机器人上
如果你正在构建机器人或将它们应用于实际任务,我们希望 Dream-1 能成为让机器人变得有用的最快途径。告诉我们你正在做什么。
立即体验 Dream-1 与我们合作 00 / 00 Dream-1 MicroDuck 控制 一个经过微调的 Dream-1 检查点,可控制多种具身形态(embodiments),包括 Microduck。
注释与参考文献
- 1MakerMods, Maker Arm: 一款双臂机械臂配置,价格约 2000 美元起。↩
- 2Yahoo Tech, Hugging Face's $399 Microduck robot has already sold more than 10,000 units, 2026 年 9 月 1 日:自 8 月 28 日开启预售以来,销量已突破 10,000 台。↩
- 3DreamZero: 提出世界动作模型(World Action Models)的论文,发表于 2026 年 2 月。↩
- 4LAP 也展现出在具身泛化方面的潜力:Zha et al., LAP: Language-Action Pre-Training Enables Zero-shot Cross-Embodiment Transfer. ↩
- 5Chi et al., Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots, RSS 2024: 仅通过腕部摄像头,即可实现共享同一夹爪的不同机械臂之间的零样本迁移。↩
- 6Robocurve,一家致力于向公众测量和报告前沿机器人能力的公益公司:Dream-1 在 RoboDojo-RC Tier 1 上的表现,发布于 2026 年 10 月 18 日,采用 CC BY 4.0 许可。↩
引用本文
@misc{dreamlabs2026dream1,
title = {Zero-Shot to New Robots: Introducing Dream-1},
author = {Dream Labs},
year = {2026},
url = {https://dreamlabs.ai/research/dream-1}
}