术语slug: pass-k

Pass@k

衡量模型生成 k 个样本中至少一个正确解的概率指标

收录情报动态

共 4 篇 · 第 1/1 页
Artificial Analysis (@ArtificialAnlys)T1·基座大模型
72 分
Artificial Analysis 推出 VIALS-AA 视觉推理榜单,Gemini 4 领先

Artificial Analysis 基于 Handshake AI 的 VIALS 基准推出 VIALS-AA 榜单,用 161 项生命科学与生物技术视觉推理任务评测前沿模型。Gemini 4 Carbon 以 64% 的 pass^3 成绩微弱领先,GPT-6 Astra 与 Claude Opus 5.5 分别以 63% 和 61% 紧随其后,前三名仅差 3 分。评测还发现模型在部分任务上出现拒答,说明科学图像解读仍是前沿模型的明显短板。

量子位 (微信公众号)T2·基座大模型
78 分
PSN-RLVR 提出参数扰动法 提升大模型推理探索多样性

上海创智学院等机构提出 PSN-RLVR 方法,通过在推理前对模型参数施加贯穿整条轨迹的小幅随机扰动,有效解决了强化学习后模型“答得准但解法单一”的问题。实验显示该方法显著提升了多次尝试成功率(Pass@K)及分布外泛化能力,相关论文已被 NeurIPS 2026 接收。

Apple Machine Learning ResearchT1·基座大模型
78 分
RLTL;DR:通过内化自我反馈突破零成功率难题

针对传统强化学习在极难任务中因无成功样本而无法优化的瓶颈,提出 RLTL;DR 框架。该方法让模型在失败后生成“TL;DR”式洞察并作为后续尝试的上下文,进而通过反向传播将这些外部反馈内化为直接映射。实验显示,该策略使 Qwen 3.5 9B 在 Pass@128=0 的高难数据集上从近乎 0% 提升至 12-13% 的独立通过率,且仅需少量数据即可复现性能。

Kimi 博客 (月之暗面)T1·基座大模型
85 分
Kimi K2 发布:多项基准超越主流模型

月之暗面发布 Kimi K2-Instruct 模型,在代码生成、智能体工具使用及复杂推理等关键基准测试中表现卓越。数据显示其性能匹敌甚至超越 DeepSeek-V3、Claude Sonnet 4 及 GPT-4.1 等主流开源与闭源模型,尤其在 SWE-bench Verified 和 LiveCodeBench 上取得显著突破。