Google DeepMind 发布 MKA 多模态知识智能体基准

Artificial Analysis (@ArtificialAnlys) · 2026-11-10 18

我们与 Google DeepMind 合作，推出了其多模态知识智能体（Multimodal Knowledge Agent，MKA）评测——这是一个面向复杂视觉文件上智能体知识工作的全新基准

@GoogleDeepMind 的 MKA 是一个新基准，要求智能体审阅原理图、扫描件等视觉上复杂的项目文件，并产出幻灯片、电子表格、报告和标注图像等交付物

多模态知识智能体（MKA）概览：

➤ 覆盖 10 个行业的 200 个私有真实世界视觉任务：智能体基于密集的视觉项目文件开展工作，包括建筑图纸、工程原理图和临床扫描件，并产出幻灯片、电子表格、PDF、Word 文档和标注图像等交付物。与许多智能体评测不同，这些输入强调真实的视觉复杂性和领域特异性，并且是完成任务所真正必需的，而不仅仅是提供额外上下文

➤ Climb 与 Regression 评分标准：每个任务都依据专家评分标准进行评分，平均每个任务约 70 项加权标准。标准分为“Regression”（模型应通过的基础检查）和“Climb”（旨在区分强模型的更难检查）。核心分数为 Climb WSR（加权满足率）——即成功完成的 Climb 评分标准项的加权比例

➤ 在 Stirrup 中由智能体评审员进行评估：我们在开源智能体运行框架 Stirrup 中运行每个任务，配备代码执行、网页搜索、网页抓取和图像查看工具（最多 250 轮），并使用 GPT-6 Luna（medium）作为智能体评审员对提交的交付物进行评分

MKA 主要结果：

➤ Claude Fable 5.2 在多模态知识工作上领先：Anthropic 近期发布的 Claude Fable 5.2（max）以 57% 的 Climb WSR 领跑 MKA 排行榜，紧随其后的是 Gemini 4 Carbon（high）的 54% 和 Claude Opus 5.5（max）的 53%

➤ 在距最高分 10 分以内的范围内，单任务成本相差近 30 倍：Claude Fable 5.2 平均每任务 $31.97，是 Gemini 4 Carbon（$6.29）的 5 倍多，却仅高出约 2 分；约为 GPT-6.1 Sol（$1.11）的 29 倍。在 Carbon 之下，所有四款受测 OpenAI 模型都位于成本-性能帕累托前沿上（GPT-6 Astra、GPT-6.1 Sol、GPT-6.1 Terra 和 GPT-6 Luna），Claude Haiku 5.5 和 MiMo-V2.6-Pro 则构成前沿的其余部分

➤ 没有任何单一模型在全部 10 个行业垂直领域中领先：Claude Fable 5.2 在五个垂直领域领先（软件与数据、工程、物流与地图、商业，以及与 Claude Sonnet 5.5 并列的金融），Claude Opus 5.5 (max) 在教育与建筑领域领先，Gemini 4 Argon (high) 在科学领域领先，Gemini 4 Carbon (high) 在医疗健康领域领先，而 Claude Sonnet 5.5 (max) 以微弱优势在法律与政府领域领先

感谢 @GoogleDeepMind 团队构建此基准测试，并与我们合作将其独家引入 Artificial Analysis！