Rohan Paul (@rohanpaul_ai)T2·基座大模型
58 分
澳大利亚公司 Trellis Data 发布 220B 参数模型 Agentaus 1,主打数据主权:提示词全程留在澳大利亚境内服务器,且不用于训练。官方称其在 MMLU-Pro 上得分 84.4%,全球基础模型排名第 43 位,并可在两张 GPU 上运行,而同级模型通常需要四张。
增强版多任务语言理解基准,以更难的多项选择推理题评估基础模型能力
澳大利亚公司 Trellis Data 发布 220B 参数模型 Agentaus 1,主打数据主权:提示词全程留在澳大利亚境内服务器,且不用于训练。官方称其在 MMLU-Pro 上得分 84.4%,全球基础模型排名第 43 位,并可在两张 GPU 上运行,而同级模型通常需要四张。
文章指出当前主流 AI 基准测试(如 MMLU-Pro)存在数据污染、题目无意义及校准缺失三大缺陷,无法真实反映模型智能水平。作者呼吁摒弃“像人一样做题”的静态评估范式,转向更具动态性和任务导向的面试式评测方法。