DS-STAR:面向非结构化数据的数据科学智能体

原标题:DS-STAR: A state-of-the-art versatile data science agent
68AI 研判分

IBM 研究团队推出 DS-STAR,一种旨在解决现有数据科学智能体过度依赖结构化数据(如 CSV)局限性的新型智能体框架。该框架通过增强对非结构化文档和复杂工作流的理解能力,实现了从自然语言到可执行代码的更稳健转换,提升了在真实业务场景中的实用性。

报道正文

本文目录5 个章节

数据科学致力于将原始数据转化为有意义且可操作的洞察,在解决现实世界挑战中发挥着至关重要的作用。企业通常依赖数据驱动的洞察来做出关键的战略决策。然而,数据科学流程往往复杂多变,要求从业者在计算机科学和统计学等领域具备高水平的专业知识。这一工作流包含许多耗时费力的活动,从解读各类文档到执行复杂的数据处理和统计分析。

为了简化这一复杂的工作流,近期研究聚焦于利用现成的大语言模型(LLM)构建自主数据科学智能体。这些智能体的目标是将自然语言问题转化为针对特定任务的可执行代码。尽管已取得显著进展,但当前的数据科学智能体仍存在若干限制,阻碍了其实际应用。一个主要问题是它们过度依赖结构良好的数据,例如关系型数据库中的 CSV 文件。这种局限性忽视了现实应用中常见的多样化且异构的数据格式(如 JSON、非结构化文本和 Markdown 文件)中所蕴含的宝贵信息。另一个挑战在于,许多数据科学问题具有开放性且缺乏标准答案标签,这使得验证智能体的推理是否正确变得困难。

为此,我们推出了 DS-STAR,一款专为解决数据科学问题而设计的新智能体。DS-STAR 引入了三项关键创新:(1) 一个数据文件分析模块,能够自动从包括非结构化数据在内的多种数据格式中提取上下文信息;(2) 一个验证阶段,由基于 LLM 的评判器评估每一步计划的充分性;以及 (3) 一个顺序规划过程,根据反馈迭代优化初始计划。这种迭代优化机制使 DS-STAR 能够处理复杂的分析任务,并从多个数据源中提炼出可验证的洞察。我们在 DABStep、KramaBench 和 DA-Code 等高难度基准测试上展示了 DS-STAR 达到了最先进(state-of-the-art)的性能表现。尤其在涉及多样化、异构数据文件的任务中,其表现尤为出色。

DS-STAR

DS-STAR 框架主要在两个阶段运行。首先,它会自动检查目录中的所有文件,并生成关于其结构和内容的文本摘要。该摘要成为解决当前任务的重要上下文来源。

其次,DS-STAR 进入一个包含规划、实施和验证的主循环。Planner 智能体首先生成一个高层级计划,随后 Coder 智能体将其转化为代码脚本。接着,Verifier 智能体评估代码在解决问题方面的有效性。Verifier 智能体是一个基于 LLM 的评判器,被提示判断当前计划是否充分。如果评判器认为计划不充分,DS-STAR 将通过修改或添加步骤(由 Router 智能体决定)来优化计划,然后重复该循环。重要的是,DS-STAR 采用了一种模拟专家分析师使用 Google Colab 等工具逐步构建计划的方法,即在继续下一步之前审查中间结果。这一迭代循环将持续进行,直到计划被认为令人满意或达到最大轮数(10 轮),此时最终代码将作为解决方案交付。

Evaluation

为了评估 DS-STAR 的有效性,我们将其性能与现有的最先进方法(AutoGen、DA-Agent)进行了对比,使用了一系列备受认可的数据科学基准测试:DABStep、KramaBench 和 DA-Code。这些基准测试评估了在涉及多种数据源和格式的复杂任务上的表现,例如数据清洗、机器学习和可视化。

结果表明,DS-STAR 在所有测试场景中均显著优于 AutoGen 和 DA-Agent。与最佳替代方案相比,DS-STAR 在 DABStep 上将准确率从 41.0% 提升至 45.2%,在 KramaBench 上从 39.8% 提升至 44.7%,在 DA-Code 上从 37.0% 提升至 38.5%。值得注意的是,DS-STAR 还在 DABStep 基准测试的公开排行榜上位居榜首(截至 2025 年 9 月 18 日)。无论是在简单任务(答案位于单个文件中)还是困难任务(需要多个文件)中,DS-STAR 都持续超越竞争基线,展示了其处理多种异构数据源的卓越能力。

DS-STAR 深入分析

接下来,我们进行了消融实验以验证 DS-STAR 各个组件的有效性,并分析了细化轮数的影响,具体通过测量生成充分计划所需的迭代次数来体现。

Data File Analyzer:该智能体对于高性能至关重要。若移除其生成的描述信息(变体 1),DS-STAR 在 DABStep 基准测试中的困难任务准确率急剧下降至 26.98%,这凸显了丰富的数据上下文对于有效规划和实施的重要性。

Router:Router 智能体判断是否需要新增步骤或修正错误步骤的能力至关重要。当我们移除它时(变体 2),DS-STAR 仅按顺序添加新步骤,导致在简单和困难任务上的性能均有所下降。这表明,纠正计划中的错误比不断添加可能存在缺陷的步骤更为有效。

跨 LLM 的泛化能力:我们还通过以 GPT-5 作为基础模型,测试了 DS-STAR 的适应性。在 DABStep 基准上取得了令人鼓舞的结果,表明该框架具有良好的泛化性。有趣的是,基于 GPT-5 的 DS-STAR 在简单任务上表现更佳,而基于 Gemini-2.5-Pro 的版本则在困难任务上表现更好。

对优化过程的深入分析:下图显示,困难任务自然需要更多的迭代次数。在 DABStep 基准上,困难任务平均需要 5.6 轮才能解决,而简单任务仅需 3.0 轮。此外,超过一半的简单任务仅在一轮内即告完成。

结论

在本工作中,我们提出了 DS-STAR,这是一种能够自主解决数据科学问题的新型智能体(Agent)。该框架由两项核心创新定义:一是对多种文件格式的自动分析,二是采用新颖的基于 LLM 的验证系统所驱动的迭代式顺序规划过程。DS-STAR 在 DABStep、KramaBench 和 DA-Code 基准上确立了新的最先进(SOTA)水平,超越了现有的最佳替代方案。通过自动化复杂的数据科学任务,DS-STAR 有望使个人和组织更容易接触和使用数据科学,从而推动众多领域的创新。

致谢

我们要感谢 Jiefeng Chen、Jinwoo Shin、Raj Sinha、Mihir Parmar、George Lee、Vishy Tirumalashetty、Tomas Pfister 和 Burak Gokturk 对本工作做出的宝贵贡献。