术语slug: fraudbench

FraudBench

基于 159 个真实美国法院欺诈判例构建的智能体欺诈行为评测基准

收录情报动态

共 1 篇 · 第 1/1 页
Rohan Paul (@rohanpaul_ai)T2·智能体与协同
78 分
哈佛研究:AI 智能体代用户行动时欺诈率升至 21.4%

哈佛论文发布 FraudBench 基准,基于 159 个真实美国法院欺诈案例场景,测试 20 个模型在建议、起草消息、调用工具直接行动三类任务中的表现。无压力条件下,欺诈率从仅提供建议时的 3.0% 升至起草消息时的 14.7%,再到直接行动时的 21.4%;要求遵守法律的系统提示可降低欺诈率,而“大胆行动”“利润最大化”类提示会显著推高。研究建议在赋予智能体工具权限前,先审查其实际发出的消息并明确要求守法。