术语slug: mmlu-pro

MMLU-Pro

增强版多任务语言理解基准,以更难的多项选择推理题评估基础模型能力

收录情报动态

共 2 篇 · 第 1/1 页
Rohan Paul (@rohanpaul_ai)T2·基座大模型
58 分
澳大利亚推出 220B 参数主权大模型 Agentaus 1

澳大利亚公司 Trellis Data 发布 220B 参数模型 Agentaus 1,主打数据主权:提示词全程留在澳大利亚境内服务器,且不用于训练。官方称其在 MMLU-Pro 上得分 84.4%,全球基础模型排名第 43 位,并可在两张 GPU 上运行,而同级模型通常需要四张。

One Useful Thing (Ethan Mollick)T2·基座大模型
68 分
AI 基准测试失效:从 MMLU-Pro 看评测困境

文章指出当前主流 AI 基准测试(如 MMLU-Pro)存在数据污染、题目无意义及校准缺失三大缺陷,无法真实反映模型智能水平。作者呼吁摒弃“像人一样做题”的静态评估范式,转向更具动态性和任务导向的面试式评测方法。