Hacker News AIT2·基座大模型
58 分
研究团队发布 SimpleBench 基准,包含 200 余道时空推理、社会智能与语言对抗性陷阱题。在九名普通高中知识水平受试者构成的基线达到 83.7% 的情况下,包括 Claude Fable 在内的所有受测前沿模型均未超越,最高仅 81.9%,说明记忆知识与近似推理检索仍不足以应对基础常识问题。
Linguistic Adversarial Robustness
模型在措辞诱导、陷阱式提问下保持正确判断的能力,是 SimpleBench 的核心考察维度之一
研究团队发布 SimpleBench 基准,包含 200 余道时空推理、社会智能与语言对抗性陷阱题。在九名普通高中知识水平受试者构成的基线达到 83.7% 的情况下,包括 Claude Fable 在内的所有受测前沿模型均未超越,最高仅 81.9%,说明记忆知识与近似推理检索仍不足以应对基础常识问题。