Rohan Paul (@rohanpaul_ai)T2·68 分
JetBrains 研究指出编码智能体基准需匹配真实用户多轮任务流，SWE-TaskFlow 显示拆分对话致成本翻倍而成功率未稳
原标题：New JetBrains Research paper argues that coding-agent benchmarks should copy how their real users ac...
- 现有 SWE-Bench Pro 等基准仅处理单轮详细问题，而真实用户会话中功能开发与 Bug 修复占比不足一半，且频繁切换提问、规划、审查等多种任务类型。
- JetBrains 提出的 SWE-TaskFlow 框架通过拆分任务轮次和添加可验证的代码检查点来模拟真实交互，但在 700 个测试任务上导致智能体计算成本约翻倍，成功率并未获得稳定提升。
- 该研究强调评估编码智能体时应优先测量自身用户的实际任务分布特征，据此定制基准对话结构，而非直接套用通用静态基准。