术语slug: linguistic-adversarial-robustness

语言对抗鲁棒性

Linguistic Adversarial Robustness

模型在措辞诱导、陷阱式提问下保持正确判断的能力,是 SimpleBench 的核心考察维度之一

收录情报动态

共 1 篇 · 第 1/1 页
Hacker News AIT2·基座大模型
58 分
SimpleBench 揭示顶尖模型常识推理不及普通人

研究团队发布 SimpleBench 基准,包含 200 余道时空推理、社会智能与语言对抗性陷阱题。在九名普通高中知识水平受试者构成的基线达到 83.7% 的情况下,包括 Claude Fable 在内的所有受测前沿模型均未超越,最高仅 81.9%,说明记忆知识与近似推理检索仍不足以应对基础常识问题。