Rohan Paul (@rohanpaul_ai)T2·基座大模型
72 分
哈佛论文利用 2026 年 6 月 Claude Fable 5 因美国出口管制被停用 19 天的自然实验,对比 297 名受影响用户与 8,908 名持续使用 Opus 4.8 的开发者,发现 7 天 PR 合并率仅提升 1.4 个百分点,处于噪声区间。在另外 5 次模型升级中合并率同样未见上升,且此前已有 94.5% 的 PR 被合并,说明前沿模型能力提升对成熟开发流程的边际产出可能远低于预期。
Natural Experiment
利用外生冲击(如政策停服)构造准实验对照,以识别因果效应的方法
哈佛论文利用 2026 年 6 月 Claude Fable 5 因美国出口管制被停用 19 天的自然实验,对比 297 名受影响用户与 8,908 名持续使用 Opus 4.8 的开发者,发现 7 天 PR 合并率仅提升 1.4 个百分点,处于噪声区间。在另外 5 次模型升级中合并率同样未见上升,且此前已有 94.5% 的 PR 被合并,说明前沿模型能力提升对成熟开发流程的边际产出可能远低于预期。