Datadog 发布 SRE 专用模型 Scout 排查成本降至八分之一

Datadog 发布 Scout，一个用于排查生产问题的模型。它在 Bits Investigation（该公司的 AI SRE 产品）中运行，能够接收告警、查看遥测数据并给出问题根因推测。Datadog 工程师和少量客户正在使用其封闭预览版。

公告中描述的大部分工作都与成本有关。排查故障可能需要多次调用模型，因为 Bits 会尝试查询、分析结果并决定下一步要检查什么。通用模型虽然可以完成这类任务，但 Datadog 表示，高昂的调用成本导致无法对每一条告警都跑一遍。团队希望在工程师收到告警、还在响应的同时，Bits 就已经开始排查。

“我们的目标是让 Bits 成为全天候待命的第一响应者，在工程师介入之前收集线索、定位可能的故障原因。” Othmane Abou-Amal、Ben Cohen、Afshin Rostamizadeh、Ameet Talwalkar、Omri Sass、Daniel Shan

在 Datadog 的 AlertEval 基准测试中，Scout medium 得分和 GPT-6.1 Sol high、Claude Opus 5.5 high 相近，而推理预估成本仅为它们的三分之一到八分之一。Datadog 称，在 xhigh 档位下，Scout 取得和 Claude Fable 5.1 xhigh 相当的效果，成本却只有后者的四分之一。官方没有公布具体定价，这些数字都是相对 Scout medium 一次排查的成本而言。

AlertEval 使用的是真实告警、归档遥测数据以及 Datadog 工程师编写的故障说明。LLM 评判器将 Scout 的报告与专家报告进行比较，对直接原因和根本原因匹配的情况进行打分。存在矛盾或者无证据支撑的推断会扣分。最终得分区间为 0 到 100 分，但 Datadog 提醒这个分数不等于成功解决故障的百分比。

Scout 基于 GLM-5.3 Flash 构建。Datadog 使用从历史案例中发现的模式生成的模拟事件，通过强化学习对模型进行后训练。模拟事件包含告警、可查询的遥测数据和已知根因。公司称这些训练素材不包含客户数据。Scout 使用模拟 Bits 工具的工具进行练习，包括跨日志、指标和追踪的搜索，以及代码、部署和功能标志检查。

“它的训练目标是鼓励找出成因，并用证据支撑结论。” Othmane Abou-Amal、Ben Cohen、Afshin Rostamizadeh、Ameet Talwalkar、Omri Sass、Daniel Shan

这份技术报告详细说明了训练过程中踩过的坑。一开始只基于最终结论设置奖励，导致 Scout 倾向少做推断、提前终止排查。这降低了受罚的可能性，但并没有提升排查能力。团队随后将奖励改为考虑正确性、探索和支持证据，还在一些训练运行中移除了工具，或缩短了可用时间，避免模型学习到固定的故障排查路径。

Datadog 在 SREGym（一个包含 90 个故障场景的公开数据集）上做了第二轮评估。Scout 在 medium 档位解决了 71 个案例，high 档位 79 个，xhigh 档位 80 个。GPT-6.1 Sol xhigh 完成了 82 个。所有测试（包括其他对比模型）都由 Datadog 自己完成，因此独立第三方验证结果会更有参考价值。

Scout 的推出正值各类可观测性厂商都在探索 AI 智能体应该接管多少故障处置工作。AWS DevOps Agent 将来自多个监控产品的遥测数据与源代码、部署记录和运行手册相结合。AWS 的思路是跨工具整合信息，而 Datadog 的选择是训练一款低成本专用模型，在自家产品内反复调用。

Honeycomb 的 Canvas Agent 更接近工程师手动排查故障的方式。当告警触发或 SLO 消耗过快时，它会打开一个共享 Canvas，执行查询、测试猜想，并留下证据供工程师检查。团队可以将熟悉的调试过程封装成 Canvas Skill。Honeycomb 还提供了一个 MCP 服务器，允许外部智能体查询其遥测数据。Honeycomb 尚未发布专门的 SRE 模型，重心放在查询引擎和排查过程记录上。

Splunk 和 New Relic 则更进一步，延伸到故障修复环节。Splunk AI SRE 会对告警分组，并生成带有证据链的根因结论。配套的 Claude 智能体可以在沙箱中生成代码改动、提交 PR。New Relic 的 SRE Agent 将运行手册、事件审查和以前的解决方案纳入其分析，Autopilot 还能给出修复建议。两者都要求在正式上线变更前经过人工审批。

InfoQ 报道的一项 ClickHouse 研究发现，通用模型可以生成摘要，但需要人工指导才能持续找到根因。Instacart 的 Blueberry 采用了类似的方法：智能体先收集上下文，再由工程师在 Slack 里评估给出的根因推测。

Scout 的基准测试数据主要来自 Datadog 自己。在 Scout 发布后，独立 AI 资讯账号 AGTP 指出AlertEval 尚未经过独立测试，并要求提供审计轨迹，显示 Scout 考虑过又丢弃了哪些证据。Honeycomb 的可视化 Canvas 和 Splunk 的证据链表明，其他供应商也同样重视这一点。故障排查时简短结论固然有用，但工程师还需要看到模型是如何得出答案的。

Datadog 尚未给出正式发布日期。公司计划在模拟案例中加入更多故障类型，长远目标是让 Bits 能够执行修复操作。当前预览版还没到这一步：Scout 只负责排查、给出诊断、建议恢复方案，最终变更仍然由工程师负责。

查看英文原文：https://www.infoq.com/news/2026/10/datadog-scout-sre-model/