Rohan Paul (@rohanpaul_ai)T2·68 分
亚马逊研究揭示智能体记忆评估盲区
原标题:New Amazon paper shows that teams shipping agent memory should check what actually got stored, since...
- 端到端 QA 评分混合了记忆、检索和生成能力,无法单独反映记忆模块的真实健康度。
- FEB-30 基准显示,QA 得分与实际存储事实状态平均相差 16.8 分,21% 的案例中通过/失败判定不一致。
- 现有系统在记忆操作选择(如更新或强化)上的准确率仅为 20.1%,且未被传统 QA 指标捕捉到。