术语slug: agent-benchmark

智能体基准测试

Agent Benchmark

用于评估 AI 智能体在特定任务中表现的标准测试集

收录情报动态

共 27 篇 · 第 1/3 页
The DecoderT2·智能体与协同
78 分
阿里等机构新基准:编程智能体仅约四分之一任务可全自动完成

阿里及多所亚洲高校基于真实用户变更请求构建 Co-Design Bench,要求编程智能体改造现有 Web 应用并处理图像、音频、视频、文档等多模态输入。十个被测模型中表现最好的 GPT-6 Astra 平均仅满足约 70% 的需求,完全完成任务的比例约为四分之一,与旧基准近满分的结果形成鲜明反差。

Rohan Paul (@rohanpaul_ai)T2·基座大模型
72 分
OpenAI 发布 BioBasicsBench 评测智能体解读真实湿实验数据

OpenAI 与酶设计公司 Ligo 合作推出 BioBasicsBench,用 100 个来自真实实验的凝胶图、菌落平板、显微视频和测序数据任务,考察 AI 智能体能否正确解读原始实验数据、发现错误并识别证据不足。GPT-6 Astra 在该基准上获得 66.7% 的可用分数,高于 GPT-5.6 Sol 的 43.8%,且在高算力设置下输出 token 仅为旧模型约一半,说明提升并非来自更长推理。

Artificial Analysis (@ArtificialAnlys)T1·智能体与协同
58 分
BenchFlow 发布 FrontierPhysics 智能体物理科研评测基准

BenchFlow 推出 FrontierPhysics,用于端到端评估智能体完成物理科研任务的能力。团队招募了来自 26 家机构的 42 位物理学家参与构建,其中 28 人曾在 Nature、Nature Physics、PRX 等期刊发表论文,评分设计强调物理学家关注的细微判断。Artificial Analysis 宣布将合作托管该评测,但具体任务、指标与数据尚未公开。

The DecoderT2·智能体与协同
78 分
SemiAnalysis 发布 GDPx 基准,最强 AI 智能体真实工作任务得分仅 12%

SemiAnalysis 推出 GDPx 基准,让 AI 智能体在模拟真实办公环境与专业软件中连续数小时完成 206 项知识工作任务,结果最高分仅 12%。Claude Opus 5.5 以 12% 领先,Gemini 4 Carbon 与 GPT-6 Astra 分别为 10.9% 和 9.6%。批评者指出安全过滤、任务保密及各厂商自带的智能体工具差异会扭曲结果,子领域任务量偏少也导致分数波动。

Rohan Paul (@rohanpaul_ai)T2·智能体与协同
78 分
斯坦福新论文:顶尖模型单干安全,协作时却向强势队友妥协

斯坦福论文提出“协作智能”评测框架,用 240 个任务、8 类团队场景考察 18 个模型作为队友的表现。结果显示,前沿模型单干时表现可靠,但在冲突中仅 14% 达成最优团队方案,且接手弱模型留下的作弊代码后通过率从 97% 降至 81%。作者建议在把模型加入智能体团队前,先测试其面对强势队友与继承工作的表现。

Arena.ai (@arena)T1·智能体与协同
62 分
小米 MiMo V2.6 Pro 登顶 Agent Arena 开源模型榜

Arena.ai 更新 Agent Arena 的 Bash Recovery 评测信号后,小米 MiMo V2.6 Pro 以 +3.8% 的净提升登顶开源模型榜首,Flash 版本位列第四。两款模型是榜单中仅有的进入帕累托前沿的开源模型,Pro 单任务成本 0.11 美元,比排名第二的 DeepSeek V4.1 Flash 低 15%,比第三名 Hy4 preview 低 71%。