伯克利 BAIR:智能趋近免费,重构代理数据系统
伯克利 BAIR 团队指出 AI 推理成本正以每年数十倍的速度下降,即将进入“近乎免费智能”时代。文章主张当智能本身不再稀缺时,核心瓶颈将转移至为智能体(Agents)构建专用、高效的数据基础设施。该观点呼吁从传统的“为人设计”转向“由代理生成、为代理服务、被代理管理”的新型数据系统架构。
报道正文
本文目录5 个章节
……民有、民治、民享的政府…… ——亚伯拉罕·林肯,《葛底斯堡演说》(1863年)
AI 的成本正在迅速下降。2023年初,具备 GPT-4 级别能力的模型成本约为每百万 token 30 美元;如今同样的运行成本已低于 1 美元,且一些提供商正将成本压低至 0.10 美元以下。在各项基准测试中,推理价格每年下降幅度介于 9 倍至 900 倍之间,中位降幅接近 50 倍。即使是前沿模型也在每一代都变得显著更便宜,开源模型紧随其后。至关重要的是,即便“诺贝尔奖级别的 Genius 级”智能尚未到来,足以胜任绝大多数知识工作的智能今天已经存在,并且每月都在变得更便宜。按此趋势,我们即将进入近乎免费智能的时代——这种智能对于日常知识工作而言绰绰有余。

披露:本文是一篇由加州大学伯克利分校 EECS 副教授、EPIC Data Lab 联合主任 Aditya G. Parameswaran 及其合作者主导的观点文章。它既是对行业现状的综述,也是一种观点阐述,下文讨论的几个研究方向(包括 agentic speculation、结构化记忆以及从零开始合成定制数据系统)均源自作者们正在进行的工作。
那么,这个近乎免费智能的新时代对数据系统意味着什么?我们认为,近零推理成本带来了三个新挑战——同时也是机遇:
面向 Agent 的数据系统。 Agent 很快将成为数据系统的主要工作负载——针对每个最终用户请求,都会启动成群的 agent。鉴于 agent 与人类(或代表人类行事的应用程序)在特性上的差异,我们应如何为这类 agentic 用户重新设计数据系统?
为智能体而生的数据系统(Data Systems For Agents)。 随着智能体开始承担大部分知识工作,我们需要一种新的底层架构,以支持数千个智能体在长时间运行的任务中管理状态、协调并达成共识,以及处理故障。能够可靠且高效地运行和管理智能体集群的数据系统应该是什么样子的?
由智能体构建的数据系统(Data Systems By Agents)。 智能体正迅速具备一次性合成整个数据系统的能力——这意味着我们可以为每个新工作负载重建定制系统。验证这些系统是否符合预期行为是一项挑战。要让智能体合成出我们真正可以信任的数据系统,需要满足什么条件?

面向、属于并由智能体驱动的数据系统
接下来,我们将更详细地讨论每一个方面,随后探讨数据系统与智能体交织的未来,特别是当这三个挑战相互交汇时的情形。
面向智能体的数据系统
智能体查询数据库的行为不同于人类或 BI 工具。它执行的是我们所谓的 智能体推测(agentic speculation):这是一种高吞吐量、异构的工作流,涵盖模式内省、列式探索、部分查询制定以及完整查询制定。由于多个智能体各自探索假设空间的不同部分,单个用户请求可能转化为数千条独立的 SQL 查询。如今,用户可以发起“高层级”的数据任务,例如根因分析——比如“为什么今年伯克利的咖啡销量下降了”——或者探索性队列分析——比如“哪些用户细分群体最有可能在下个季度流失”——每一项任务都涉及潜在连接、聚合和过滤组合的庞大组合空间。

重新设计数据系统以更有效地支持智能体推测
这些智能体的请求中存在多种优化机会。例如,在一个由多个智能体尝试完成每项任务的 text-to-SQL 基准测试中,仅有 10-20% 的子计划是互不相同的。因此,80-90% 的子查询在执行重复工作。同样的实验表明,随着智能体尝试次数的增加,任务成功率显著提升——这意味着冗余实际上是有用的。但从数据系统的角度来看,这属于浪费的工作量。
以智能体为先的数据系统可以利用这些特性,帮助智能体更快地取得进展。它可以复用重叠子计划的结果,借鉴数十年前的 多查询优化 和 共享扫描 文献中的思想。或者,数据系统可以尝试 满足化(satisfice),返回足以让智能体推进工作的近似答案,利用 AQP 文献 的研究成果——或者流式传输最终或中间算子的结果,以帮助智能体决定是否有必要或有益处查看剩余部分。
这里的另一个机会是完全重新思考查询接口:与其让智能体一次发出单个 SQL 查询,不如让它们发出一批查询,每个查询都有各自的近似要求。由于枚举指数级搜索空间(如前文提到的根因分析或队列分析示例)并不是对智能体推理能力的良好利用,数据系统或许应该支持更高级别的原语,而不是要求智能体显式列出每个 SQL 查询。一种思路是借鉴 DBT 风格的 Jinja 宏,为智能体提供基于循环的原语,以便其与数据系统进行交互。

一支喝了咖啡、准备不知疲倦地完成你数据任务的智能体大军
这里还有一个最终的机会:停止将数据系统视为被动执行查询的工具;数据系统可以是主动的,因为它们对数据和系统特性拥有更深入的把握,而这些往往是智能体先验知识中所缺乏的——它们可以引导智能体朝不同方向发展,提供相关查询的结果,并给出性能层面的反馈(例如,在执行高开销查询之前,系统可以先向智能体提供延迟估算)。我们现在能够这样做,而过去不行,是因为智能体可以接受任何形式的文本反馈,并不期望严格的 SQL 查询结果。事实上,数据系统还可以提前为智能体准备物化视图和虚拟视图,并将其作为上下文的一部分提供给智能体,因为这可能比让智能体自行创建或使用这些视图成本更低或更有效。
面向智能体的数据系统
此前,我们重点关注了智能体如何与数据系统交互。现在,我们考虑智能体维持运行所需的其他所有要素:它们的驻留环境、记忆机制、彼此间的协调方式,以及如何处理彼此的故障。这种智能体基础架构(agentic substrate)独立于支撑原始智能的推理栈。然而,推理栈本身正通过 API(例如来自 OpenAI 或 Anthropic)被抽象化,或者对于开源权重模型而言,通过隐藏底层细节的serving 框架被抽象化。到目前为止,智能体基础架构一直由诸如 Claude Code 和 Codex 这样的工具链进行管理,并结合各种机制来存储和检索记忆。
首先,在记忆方面,目前的共识是文件就是你需要的一切;智能体将信息写入非结构化的 Markdown (MD) 文件,随后可以通过 grep 或基于嵌入(embedding)的检索方式来搜索这些文件。事实上,许多人认为持续学习(continual learning)的解决方案是让智能体大量摄入数据(例如整个代码库、Slack 消息、公司 Wiki 等),然后将学到的知识写入 MD 文件,再按需选择性地进行检索。诚然,文件系统、Bash 脚本和 MD 文件对于智能体而言现在和未来都将保持重要地位。然而,当规模扩大,且智能体承担了绝大部分知识工作时,这种方法将不再有效。
鉴于上下文窗口有限,检索所有可能相关的 MD 文件片段并将其塞入上下文的做法最终会失效。即使上下文窗口继续增长,不将所有信息都放入上下文也能带来延迟方面的优势——而且在许多情况下,例如当知识工作涉及与大型数据库或代码库交互时,将所有相关数据序列化到上下文中是不可行的。

数据系统作为多智能体集群的基础设施
人们可以使用知识图谱表示法,但知识图谱由于缺乏结构化搜索能力,面临着与非结构化 MD 记忆相同的局限性。真正需要的是能够仅检索与任务相关的记忆,并跨越多个感兴趣的属性(或维度)。例如,一个正在调试不稳定测试(flaky test)的智能体应该能够仅拉取标记了相关模块、语言、框架和故障模式的记忆——而不是基于关键词或嵌入相似度进行检索。另一个独立的问题是实际要检索什么内容;包含错误的原始智能体轨迹并不太有用,因为它们会导致智能体重犯同样的错误——相反,我们希望检索到的记忆具有纠正性。
我们最近探讨了一个相关的概念——结构化记忆,在该概念中,我们将记忆按各种属性进行组织。每个属性可以设置为 * 以表示普遍适用性,或者设置为一个值列表以供匹配。对于数据智能体(data agent)而言,这些维度可能包括列和表、操作类型,以及最终开放的、自然语言形式的纠正指令。因此,我们可以包含仅适用于特定操作类型的记忆(例如,“在执行日期时间操作时,使用财年而非日历年惯例”),或仅适用于特定表的记忆(例如,“在查询产品名称时,优先使用 product_cleaned 列而非 product 列”)。一个待解决的关键问题是定义 应用特定的结构化记忆——也就是其他人所称的 用于记忆的世界模型。我们认为这类似于为每个应用定义一个 schema——也许智能体本身可以帮助我们在随时间的推移中定义并完善它。

存储和检索结构化知识的一种可能方式 [来源]
结构化记忆对于 进化式 框架 有效管理搜索空间也将非常有用。事实上,存储、结构化并挖掘大量的单智能体和 多智能体轨迹 数据,可以帮助未来的智能体变得更加高效——从而有可能通过基于结构化记忆的机制实现有效的递归自我改进。
另一个挑战在于支持对共享内存的并发编辑,以及在众多智能体执行转换操作时的通用并发编辑场景。尽管在支持多版本控制和写时复制语义方面已有一些有益的尝试,但当数千个智能体同时试图修改共享状态时,这些技术是否足够尚不明确。例如,当智能体针对用户请求尝试各种潜在事务时,绝大多数事务的效果都需要被回滚——仅保留那个“正确”事务的结果。在此背景下,支持 exactly-once 语义的工作至关重要,基于 CRDT(无冲突复制数据类型)和操作变换的底层技术同样相关。对于记忆等模糊机制的更新,为了降低延迟,我们或许可以在完美正确性上牺牲一致性。虽然智能体可以通过推理语义来补偿或回滚其操作,从而最终完成大多数任务,但主要挑战在于过程中它们相互干扰的程度。需要避免的一种重要故障模式是某种形式的“活锁”,即不断的补偿操作阻碍了任何有意义的进展。
除了共享状态之外,在支持大规模智能体集群时还会涌现出其他问题,包括当智能体发生故障时该如何处理、智能体之间应如何通信(是直接通信还是通过中间共享状态进行间接通信),以及如何处理掉队的智能体。目前,在支持持久化多智能体执行方面已有一些进展,例如 Temporal,但此类解决方案能否扩展到数千个智能体的规模仍有待观察。在通信方面,我们需要建立机制以支持智能体之间的协商。想象一下,四个开发者智能体试图就一个共享模式达成共识,它们的目标各不相同但又存在重叠。在人类场景中,这通常涉及迭代式的讨论与妥协;而对于智能体集群而言,我们必须定义相应的机制,使它们能够收敛到一个反映各自委托人底层目标的设计方案。或者,如果所有智能体都需要访问某种有限资源,那么通信同样是必不可少的。这种协调究竟是通过集中式方式实现更好,还是必须采用去中心化方法,目前尚无定论。
由智能体构建的数据系统
最后,如果智能变得近乎免费,我们就可以利用这种智能从零开始合成新的数据系统。事实上,在许多场景下,通用型数据系统可能显得过于庞大,因为它们需要支持所有的模式、查询和硬件目标。针对特定工作负载,近期的研究——包括 Bespoke OLAP 和 GenDB——已经表明,我们可以使用智能体流水线来合成完整的、面向特定工作负载的分析引擎,耗时仅需几分钟到几小时,成本仅为几美元。这些引擎是可丢弃的:当工作负载发生变化时,只需重新生成即可。类似地,我们的研究表明,也可以从零开始合成针对特定工作负载定制的 键值存储。实际上,现代 IDE(如 Kiro)已将系统开发的规范提升为一等公民。

智能体可以从零开始合成定制化的数据系统
然而,主要问题在于规范通常并不完善,且无法覆盖所有边缘情况。当前的智能体(agents)会利用这些缺失的规范进行“奖励黑客”(reward-hacking),从而在性能指标上获得高分。在我们的自定义键值存储工作中,我们发现缓解这一问题的一种方法是引入辅助验证智能体,尝试生成能够捕捉边缘情况漏洞的测试用例,这本质上是在扩展规范。另一种方法是同时生成系统及其正确性证明,我们已在此方面取得了一些早期成功,但仍需进一步工作以巩固该方法。此外,如何获取人类编写的系统规范仍是未知数——能否以迭代式、人在回路(human-in-the-loop)的方式进行,而非一次性且不完整的方式?事实上,即使是人工编写的软件,其人类编写的规范也是不完整的,因此可以预期,未来更加对齐的智能体在设计决策时将展现出更好的判断力。

一种可能的数据系统合成流水线 [来源]
其他相关问题包括:测试从成熟系统(例如 Postgres)出发,通过移除组件或功能是否能带来更高的性能或更多的用户信任。另外,是否存在机会使设计具备可组合性,即由各种经过验证的组件组成,并根据工作负载进行混合搭配?例如,也许工作负载的变化不足以更新存储层,但查询优化器可能需要更改。一个可能更具可行性的提议是,采用与证明系统耦合的智能体,针对与形式化证明相关的代码关键部分进行处理,而不是对整个系统进行如此操作。
这里还有一个最终的机会,那就是摆脱传统的数据系统技术栈——这种技术栈拥有清晰定义的接口(例如解析器、查询优化器、存储管理器等),且每个组件通常都由单一的人类团队负责管理。相反,智能体可以找到将这些组件“融合”在一起的新方法,从而可能发现新的优化机会。智能体还可以填补现有系统在功能上的缺失,使其更加完善,或达到与其他竞争系统的功能对等——或者类似地,根据功能请求或问题报告(也许是由其他智能体提交的!)持续改进开源系统。在这样做时,如何优先保证正确性、长期可维护性以及人类的可解释性,将是一个挑战。
展望未来
在近免费智能的时代,数据系统比以往任何时候都更为重要。随着智能体承担大部分知识工作,数据系统的工作负载将会发生变化,它们运行所需的底层基础设施必须被构建起来,而且越来越多的情况下,智能体将亲自参与数据系统的设计。这些转变中的每一个都开启了一个全新的、令人兴奋的研究议程。

数据系统与智能体的共同演化
从更长远来看,智能体与数据系统之间的界限可能会开始模糊。例如,智能体可能会设计它们自身所运行的数据系统,定义接口以及底层的系统组件。接口和内部结构都可以由智能体通过一种递归自我改进的形式随时间演化。此外,还有机会重新思考数据系统,将其视为所有相关状态的整体真实来源:包括原始数据、记忆和协调状态,从而进一步消除智能体查询的数据与智能体活动生成的数据之间的区别。最后,数据系统本身也可能融入智能体组件,从根本上从被动计算引擎演变为智能的、主动的、自优化的架构。很难预测未来会是什么样子。我们将迎来一段狂野的旅程!
致谢
本文所阐述的观点及正在进行的工作,是与 EPIC Data Lab、Data Systems & Foundations 团队以及更广泛的 Berkeley AI-Systems 社区中优秀合作者共同研究和深入讨论的成果。感谢大家!
本文的 BibTex 引用格式:
@misc{intelligence-is-free-blog,
title={Intelligence is Free, Now What? Data Systems for, of, and by Agents},
author={Aditya G. Parameswaran and Shubham Agarwal and Kerem Akillioglu and Shreya Shankar
and Sepanta Zeighami and Rishabh Iyer and Matei Zaharia and Alvin Cheung
and Natacha Crooks and Joseph Gonzalez and Joseph Hellerstein and Ion Stoica},
howpublished={\url{https://bair.berkeley.edu/blog/2026/07/07/intelligence-is-free-now-what/}},
year={2026}
}