GVS5H 框架发布 Qwen3.8-27B 多智能体协作逼近 Claude Fable 5Hacker News AIT2·智能体与协同

GVS5H 框架发布 Qwen3.8-27B 多智能体协作逼近 Claude Fable 5

原标题：Five Qwen3.8-27B models match Fable 5 Using GVS5H Harness

78AI 研判分

核心综述

GVS5H 提出一种基于账本的零样本自编排方法，通过共享文件系统协调多个模型实例。实验显示，五个 Qwen3.8-27B 实例在 LiveCodeBench 硬题上的表现可匹敌 Claude Fable 5，且无需训练。该方法为低成本实现前沿编码能力提供了新路径。

报道正文

本文目录3 个章节

GVS5H：五个 Qwen3.8-27B 模型在 LiveCodeBench Hard 上匹敌 Claude Fable 5

GVS5H：大猩猩 vs. 5 个人类

结果

Accuracy on LiveCodeBench, single call versus with manager, for seven models against Claude Fable 5's single-call score

Opus 5 运行在较早版本的脚手架（scaffold）上，通过 OpenRouter 提供单次调用服务，而非在固定后端上进行五次调用。

Average cost per task against accuracy, single call versus with manager, on a log-scale cost axis

What one pass costs — LCB-100, 5 passes, single call vs manager, against Fable 5

摘要。 前沿编码性能通常以高昂成本购买更大的专有模型来实现。我们引入了基于账本（ledger-based）的零样本自编排方法，这是一种无需训练的方法，其中同一模型的多个全新实例分解问题，并通过一个共享文件系统协调工作，该文件系统保存着计划、笔记和当前解决方案。在最新的 100 道高难度 LiveCodeBench 问题上，针对十一个开源和闭源权重模型进行测试，该方法在固定后端上带来了高达 25.6 个百分点的提升，并提供了两条通往前沿级准确率的路径。编排后的 Qwen3.8 Flash Next 达到 93.0% 的 pass@1，而 Fable 5 为 90.4%，但成本仅为后者的 9%；本地部署的开源权重 Qwen3.8-27B 从 66.8% 提升至 92.4%。增益并非普遍存在：某些模型保持不变甚至表现更差。转录分析将增益归因于任务分解和持久化上下文。推理时的组织方式可以以极低的成本接近前沿编码准确率，或者在可自托管的权重上略微超越它。

— 论文链接

运行代码

需要 uv 以及你想要测试的模型的 API 密钥。

BASH

cd codebase/v2-current
export OPENAI_API_KEY=...

LCB_RELEASE=release_v6 \
ESCALATION_CLOUD_MAX_TOKENS=128000 \
ESCALATION_CLOUD_TIMEOUT=7200 \
MULTIAGENT_MODEL=openai:gpt-5.6-terra \
uv run --no-project --python 3.12 --with 'datasets<4' --with numpy --with anthropic \
  python escalation/run_bench.py --engine multiagent --only lcb --lcb 100 --parallel 8

--engine multiagent 运行管理器模式；--engine single 是单次调用的基线。
其他模型：anthropic:<model>、dashscope:<model>、openrouter:<model>，每个都需要配置其对应的 *_API_KEY。
pass@1 分数会在最后打印出来。结果写入 runs/results.json，工作区文件位于 runs/ws/。