Handshake AI 训练业务年化收入达 10 亿美元
Handshake 的 AI 训练业务在约一年内从零起步做到 10 亿美元年化毛收入,核心产品是为前沿实验室构建强化学习环境与专家标注数据。访谈通过金融、工程等真实任务演示,揭示了实验室当前大量采购的并非普通语料,而是可验证、高难度的专业工作流数据。
报道正文
本文目录3 个章节
这是我们首次与 AI 数据公司合作的 Latent Space 深度探访。在大约一年时间里,Handshake 的 AI 训练业务从启动发展到年化总营收 10 亿美元。前沿实验室在这种规模上究竟在购买什么?模型在哪些评估上仍远未达到人类水平?Garrett Lord 带来了构建这些强化学习环境的人,为我们现场展示。这是我们第一次实时走进这些环境!
为了覆盖 Handshake 的业务范围,我们不得不制作一期非常特别的联合播客,汇集了我们科学/工程/研究/金融播客的主持人,因为 Handshake 的业务横跨所有这些领域乃至更多。
在总体介绍之后,请留意三个环节:
- 金融。 在金融演示中,智能体必须在银行的邮件中找到自己的任务,弄清楚哪些文件管辖这笔交易,并交付一个工作簿。注意客户邮件中关于现有商誉的那一行会发生什么。智能体把这个数字带入 Python 并减去了它。Collin 指出,当你直接询问模型时,它能够解释税务处理方式。错误出现在它必须认识到正是这行代码才是规则适用之处的时候。
- 生物。 Nick Magazine 和 Jonas Mueller 向我们展示了 VIALS,这是 Handshake 用于解读科学家工作中所用图像的基准。Nick 在屏幕上放上九张脑肿瘤组织切片,并问哪两张显示最晚期的血管坏死。在他的答案揭晓前,请给自己一点时间思考。Nick 选了 H 和 I。模型选了这两张,还加上了 G。看 Nick 指出组织中缺失了什么,比看到分数更有启发性。
- 编程。 在一个模拟的文件访问任务中,团队可以检查智能体读取了哪些文件、是否检查了副本,以及之后对 shell 历史记录做了什么。仅凭智能体最终回复的文字记录,会错过 Steve Kelling 和 Nishant Ranka 正在评估的大部分内容。
房间里都有谁
- 🟣 AI 数据业务 — Garrett Lord、Sahil Bhaiwala 和 Nishant Ranka 以专家数据市场为主题开场并收尾本期节目。
- 🌸 生命科学 — Nick Magazine 和 Jonas Mueller 将凝胶与脑组织任务展示在屏幕上。
- 🟢 金融 — Collin Schweiker 和 Sahil Bhaiwala 带我们了解 Project Falcon 及其 Excel 评分器。
- 🟠 对齐 — Steve Kelling 和 Nishant Ranka 在安全模拟中跟踪智能体的工具调用。
节目笔记
- ATLAS-Finance — 探索面向在模拟银行收件箱、文档和财务模型中工作的智能体的基准测试。
- 走进一家银行 — Handshake 追溯了另一项已公布的交易 Project Osprey,从客户邮件一直到评分决策。我们采访中展示的交易是 Project Falcon。
- VIALS 示例任务 — 试试这些科学图像问题,包括节目中的凝胶和脑组织任务。
- Handshake 如何训练模型读取科学图表 — 团队介绍了使用中间图像描述来训练和评估视觉语言模型的方法。
时间戳
0 走进 Handshake AI 0 Garrett、Sahil 和 Nishant 谈前沿训练数据 5 如何为智能体构建银行环境 13 前沿实验室如何购买数据 15 实验室如何评估新数据集 20 在开源模型上测试训练数据 27 评分标准在哪些方面不及专家判断 31 Nick 和 Jonas 介绍 VIALS 基准 35 读取分子结构和质粒图谱 43 训练视觉模型解读科学图像 47 任务一:读取凝胶上的条带 50 任务二:在脑组织中寻找坏死区域 55 Python 工具能帮助模型“看见”吗? 1:02 生物学模型能自我改进吗? 1:06 生物实验室能从 Handshake 购买什么
1:12 与 Collin 和 Sahil 探讨 Atlas Finance 1:18 走进模拟投资银行 1:25 智能体的财务模型错在哪里 1:31 银行家如何给电子表格打分 1:41 惩罚陷阱、依赖门槛与部分得分 1:46 智能体如何钻了 Excel 评分器的空子 1:48 怎样才能让 AI 银行家真正有用? 1:54 与 Steve 和 Nishant 探讨安全与对齐 1:58 CAREBench 与拒绝的局限 2:04 安全反馈如何进入模型训练 2:07 当智能体发错文件时 2:11 一笔贷款申请如何检验公平放贷 2:16 为企业设计私有基准 2:25 领导团队谈 Handshake 的使命
2:28 当企业需要自己的模型时 2:33 算力与专家数据的市场 2:39 为什么实验室会保留评估任务 2:43 Handshake AI 的招聘