Datadog Launches Scout, an SRE-Specialized Model for Incident Triage
Datadog has unveiled Scout, a model purpose-built for SRE incident triage that runs inside its Bits Investigation AI SRE product, ingesting alerts, querying telemetry and proposing root causes. On Datadog's internal AlertEval benchmark, Scout medium reportedly matches GPT-6.1 Sol high and Claude Opus 5.5 high at one-third to one-eighth of their estimated inference cost. Built on GLM-5.3 Flash and post-trained via reinforcement learning on simulated incidents, Scout is in closed preview with no public release date announced.
Full Report
Datadog 发布 Scout，一个用于排查生产问题的模型。它在 Bits Investigation（该公司的 AI SRE 产品）中运行，能够接收告警、查看遥测数据并给出问题根因推测。Datadog 工程师和少量客户正在使用其封闭预览版。
公告中描述的大部分工作都与成本有关。排查故障可能需要多次调用模型，因为 Bits 会尝试查询、分析结果并决定下一步要检查什么。通用模型虽然可以完成这类任务，但 Datadog 表示，高昂的调用成本导致无法对每一条告警都跑一遍。团队希望在工程师收到告警、还在响应的同时，Bits 就已经开始排查。
“我们的目标是让 Bits 成为全天候待命的第一响应者，在工程师介入之前收集线索、定位可能的故障原因。” Othmane Abou-Amal、Ben Cohen、Afshin Rostamizadeh、Ameet Talwalkar、Omri Sass、Daniel Shan
在 Datadog 的 AlertEval 基准测试中，Scout medium 得分和 GPT-6.1 Sol high、Claude Opus 5.5 high 相近，而推理预估成本仅为它们的三分之一到八分之一。Datadog 称，在 xhigh 档位下，Scout 取得和 Claude Fable 5.1 xhigh 相当的效果，成本却只有后者的四分之一。官方没有公布具体定价，这些数字都是相对 Scout medium 一次排查的成本而言。
AlertEval 使用的是真实告警、归档遥测数据以及 Datadog 工程师编写的故障说明。LLM 评判器将 Scout 的报告与专家报告进行比较，对直接原因和根本原因匹配的情况进行打分。存在矛盾或者无证据支撑的推断会扣分。最终得分区间为 0 到 100 分，但 Datadog 提醒这个分数不等于成功解决故障的百分比。
Scout 基于 GLM-5.3 Flash 构建。Datadog 使用从历史案例中发现的模式生成的模拟事件，通过强化学习对模型进行后训练。模拟事件包含告警、可查询的遥测数据和已知根因。公司称这些训练素材不包含客户数据。Scout 使用模拟 Bits 工具的工具进行练习，包括跨日志、指标和追踪的搜索，以及代码、部署和功能标志检查。
“它的训练目标是鼓励找出成因，并用证据支撑结论。” Othmane Abou-Amal、Ben Cohen、Afshin Rostamizadeh、Ameet Talwalkar、Omri Sass、Daniel Shan
这份技术报告详细说明了训练过程中踩过的坑。一开始只基于最终结论设置奖励，导致 Scout 倾向少做推断、提前终止排查。这降低了受罚的可能性，但并没有提升排查能力。团队随后将奖励改为考虑正确性、探索和支持证据，还在一些训练运行中移除了工具，或缩短了可用时间，避免模型学习到固定的故障排查路径。
Datadog 在 SREGym（一个包含 90 个故障场景的公开数据集）上做了第二轮评估。Scout 在 medium 档位解决了 71 个案例，high 档位 79 个，xhigh 档位 80 个。GPT-6.1 Sol xhigh 完成了 82 个。所有测试（包括其他对比模型）都由 Datadog 自己完成，因此独立第三方验证结果会更有参考价值。
Scout 的推出正值各类可观测性厂商都在探索 AI 智能体应该接管多少故障处置工作。AWS DevOps Agent 将来自多个监控产品的遥测数据与源代码、部署记录和运行手册相结合。AWS 的思路是跨工具整合信息，而 Datadog 的选择是训练一款低成本专用模型，在自家产品内反复调用。
Honeycomb 的 Canvas Agent 更接近工程师手动排查故障的方式。当告警触发或 SLO 消耗过快时，它会打开一个共享 Canvas，执行查询、测试猜想，并留下证据供工程师检查。团队可以将熟悉的调试过程封装成 Canvas Skill。Honeycomb 还提供了一个 MCP 服务器，允许外部智能体查询其遥测数据。Honeycomb 尚未发布专门的 SRE 模型，重心放在查询引擎和排查过程记录上。
Splunk 和 New Relic 则更进一步，延伸到故障修复环节。Splunk AI SRE 会对告警分组，并生成带有证据链的根因结论。配套的 Claude 智能体可以在沙箱中生成代码改动、提交 PR。New Relic 的 SRE Agent 将运行手册、事件审查和以前的解决方案纳入其分析，Autopilot 还能给出修复建议。两者都要求在正式上线变更前经过人工审批。
InfoQ 报道的一项 ClickHouse 研究发现，通用模型可以生成摘要，但需要人工指导才能持续找到根因。Instacart 的 Blueberry 采用了类似的方法：智能体先收集上下文，再由工程师在 Slack 里评估给出的根因推测。
Scout 的基准测试数据主要来自 Datadog 自己。在 Scout 发布后，独立 AI 资讯账号 AGTP 指出AlertEval 尚未经过独立测试，并要求提供审计轨迹，显示 Scout 考虑过又丢弃了哪些证据。Honeycomb 的可视化 Canvas 和 Splunk 的证据链表明，其他供应商也同样重视这一点。故障排查时简短结论固然有用，但工程师还需要看到模型是如何得出答案的。
Datadog 尚未给出正式发布日期。公司计划在模拟案例中加入更多故障类型，长远目标是让 Bits 能够执行修复操作。当前预览版还没到这一步：Scout 只负责排查、给出诊断、建议恢复方案，最终变更仍然由工程师负责。
查看英文原文：https://www.infoq.com/news/2026/10/datadog-scout-sre-model/