Baoyu: Requiring AI Agents to Self-Test and Screenshot Boosts Code Quality

Original title: 以前我团队有个员工做事比较粗心,也比较懒,每次让别人 Review PR 都不自己测,一审查就发现很多问题,后来我就让他提交 PR 的时候必须要带上相关功能修改的截屏,这样效果很好,至少去截图的时候得...
58AI Score

Baoyu describes porting a team rule—PRs must include screenshots of the changed feature—to AI agents: after finishing a task, the agent self-tests and produces screenshots, often catching and fixing issues along the way. He cites Anthropic's Addy Osmani saying daily merged code changes grew from ~2,500 in May to over 30,000 by September, with humans reviewing AI-submitted evidence such as screen recordings and screenshots rather than reading every line; giving AI a way to verify its own work can improve output quality two to three times.

Full Report

宝玉 (@dotey) · 2026-11-06 05

以前我团队有个员工做事比较粗心,也比较懒,每次让别人 Review PR 都不自己测,一审查就发现很多问题,后来我就让他提交 PR 的时候必须要带上相关功能修改的截屏,这样效果很好,至少去截图的时候得测试一遍。

现在我也把这一套应用在 AI 身上了,每次 Agent 任务完成,让它自己测试验证后,生成效果截图,让我看看效果。很多时候它自己截图的时候就发现问题,能顺手修复一下。

↳ 引用 @dotey (宝玉): Anthropic 的 Addy Osmani:一天合并三万次代码变更,人看的是 AI 交上来的证据

Anthropic 今年 5 月每天往代码库里合并大约 2500 次代码变更,到 9 月已经超过 3 万次,涨了十几倍。这么多改动,显然不可能每一行都有人看过。那他们凭什么敢合并?

负责 Claude Code 开发者体验的 Addy Osmani 在这场对谈里讲了他们的做法:每个改动先由 Claude 像真实用户一样实际用一遍、审一遍,发现问题自动修;人不再逐行读代码,而是去看 AI 交上来的证据,比如它在浏览器里点来点去的录屏、在手机和电脑上的截图。

在他看来,写代码已经不是难点,接下来能不能再快一截,取决于能不能把“验证”做扎实。给 AI 一个检查自己做得对不对的办法,产出的质量能好两到三倍。如果你也在用 AI 写代码,又拿不准哪些改动敢直接合并,这期给了一份大公司内部的参考答案。

这是 AI Engineer 大会上一场 18 分钟的台上对谈。Addy Osmani 在 Google 工作了大约 14 年,长期负责 Chrome 的开发者体验,写过大量面向开发者的文章,今年 9 月加入 Anthropic。提问的 Manish Kapur 在 Sonar 负责产品和开发者关系,Sonar 是做代码质量和安全检查工具的公司,旗下的 SonarQube 用来自动扫描代码里的漏洞和问题。

【Anthropic 的做法:Claude 先审一遍,人看证据】

Manish 提到,他前一晚刚读了 Anthropic 发的一篇文章,里面说 Anthropic 现在每天合并约 3 万次代码变更。Addy 补充了两个数字:5 月的时候每天大约 2500 次;最近

推文配图

推文配图

推文配图