Hacker News AIT2·基座大模型
58 分
研究团队发布 SimpleBench 基准,包含 200 余道时空推理、社会智能与语言对抗性陷阱题。在九名普通高中知识水平受试者构成的基线达到 83.7% 的情况下,包括 Claude Fable 在内的所有受测前沿模型均未超越,最高仅 81.9%,说明记忆知识与近似推理检索仍不足以应对基础常识问题。
SimpleBench 测试中得分最高的前沿模型,取得 81.9%,仍低于普通人基线
研究团队发布 SimpleBench 基准,包含 200 余道时空推理、社会智能与语言对抗性陷阱题。在九名普通高中知识水平受试者构成的基线达到 83.7% 的情况下,包括 Claude Fable 在内的所有受测前沿模型均未超越,最高仅 81.9%,说明记忆知识与近似推理检索仍不足以应对基础常识问题。