Legora CTO 谈隐私受限下的法律智能体构建与测试
Legora CTO Jacob Lauritzen 分享了在无法访问客户数据的情况下，如何构建和测试法律 AI 智能体的工程实践。团队通过模拟真实工作场景的“世界”环境进行测试，并指出当前模型已能胜任约 60% 的法律工作，剩余部分需更智能模型或人工介入。
报道正文
Legora 无法读取其 Agent 为律师执行操作的任何痕迹。数据属于律所的客户。当你无法看到 Agent 的工作过程时，该如何构建和测试它？
Jacob Lauritzen 是 Legora 的 CTO，该公司是法律科技史上增长最快的企业之一。团队最初在斯德哥尔摩的一个地下室里起步，使用 ChatGPT、瑞典法律数据和搜索工具。如今，律师可以使用 Legora 起草和编辑 Word 文档，在单个表格中审查 10,000 份合同，或进行尽职调查。该 Agent 还能协调律师、客户和其他 Agent 之间的工作。当 Legora 进行自身收购时，团队也用它来进行尽职调查。
我们讨论的内容
• 为什么 Legora 多年来一直抵制添加模型选择器，以及最终为何添加了这一功能
• Jacob 估计现有模型已经能很好地完成约 60% 的法律工作，而剩余部分则需要更智能的模型
• 三名工程师和三名律师如何构建模拟客户工作的测试环境，类似于强化学习中使用的“世界”（worlds）
• 一个引用问题：模型原本只有 70% 的正确率，在一次发布后提升至 99%。Legora 无需做任何更改。
• 为什么 Legora 将所有业务运行在 Azure 上，以及为什么不使用 ElevenLabs
• Tabular Review（表格化审查），这个百万单元格的电子表格被整个行业照搬，连名字都没改
• 案件受理（intake）流程如何运作，Agent 如何创建列表，以及一个列表如何启动另一个 Agent
• 法律工程师（legal engineers）和前沿部署工程师（forward-deployed engineers）各自负责什么，谁有权编写代码
• Jacob 曾用“300 斯巴达勇士”幻灯片论证 20 名工程师永远够用。现在已有 100 人，但他仍觉得人手不足。
• 为什么 Jacob 认为 Fable 和 Opus 在起草文书时过于啰嗦，而更喜欢 Astra 简洁的写作风格
• 为什么起草长合同本质上是一个搜索问题
• 模型实验室是否会像切断编码工具那样切断法律工具
• 律所合伙人制度、计费小时制以及初级律师职位的未来走向
Legora 正在纽约、斯德哥尔摩和伦敦招聘工程师。
章节
0 冷开场 0 认识 Jacob Lauritzen，Legora CTO 1 作为“弱者”在斯德哥尔摩地下室起步 1 Legora 如何从结合瑞典法律的 ChatGPT 演变为法律 Agent 4 从助手到 Agent 的转变 5 Legora 使用哪些模型，以及为何添加模型选择器 7 当今的模型对律师来说足够好吗？ 8 九个月前 Agent 还做不到什么 9 在模拟世界和包含 10,000 个文件的数据室中测试 Agent
10 评估团队与 Legora 的 100 名法律工程师
11 当评估看似不值得投入时，一次发布如何将引用准确率从 70% 提升至 99%
12 未来五到十年法律实践可能呈现的面貌
14 律师事务所的合伙人模式能否存续？
16 律师助理和初级律师的命运如何？
18 计费小时制以及早期法律科技为何未能成功
19 资金流向何处
22 Legora 如何利用自家产品进行收购尽职调查
23 瑞典与美国律所的差异
26 当你无法阅读追踪日志（traces）时的产品指标
27 对追踪日志进行改写，并将失败类型缩减至 10 或 20 种
28 数据隐私如何促使 Legora 将所有业务运行在 Azure 上
30 开放权重模型与模型套利
30 转录模型以及 Legora 为何不使用 ElevenLabs
33 Agent、Tabular Review、项目以及 Word 插件
34 律师如何使用 Tabular Review
35 电子表格为何有效，以及从前 10 行中能学到什么
37 Slack 中的法律接案机器人如何运作
39 Agent 如何创建列表，以及列表如何启动 Agent
40 基于相同组件构建产品并收购 Wexler
42 前置部署工程师（Forward-Deployed Engineers）在 Legora 的工作内容
43 法律工程师和前置部署工程师如何为大客户完成入职培训
46 未来一年前置部署团队的下一步计划
47 Legora 为何抵制构建 API
49 Agent 可以成为 API 吗？
50 “三百斯巴达战士”幻灯片与保持 20 名工程师规模的计划
51 没人要求 Legora 做出的赌注
53 为法律研究对开放权重模型进行后训练（Post-training）
54 搜索、检索与后期交互（Late Interaction）
54 优秀的法律 Agent 框架（Harness）具备哪些特质，以及为何起草依赖于搜索
56 哪个模型能写出最好的草稿？
57 幻觉问题与 Legora 的引用系统
57 律师会检查引用吗？
58 对于百万 token 的合同，是使用 MapReduce 还是单个大上下文窗口？
1:00 获取匿名化示例以及“购买律所以获取数据”的想法
1:01 Jacob 为何建议不要默认使用嵌入（Embeddings）
1:02 律师将在 Legora 内部工作，还是通过 Claude 工作？
1:03 模型实验室会切断与 Legora 的合作吗？
1:04 法学院与面向计算机科学专业的奖学金
1:05 在纽约、斯德哥尔摩和伦敦的招聘情况
1:06 为何大多数工作最终都会演变为法律工作
嘉宾 — Jacob Lauritzen，Legora CTO
联合主持人 — swyx，Latent Space
主持人 — Basil Chatha，Forward Deployed