一篇论文发现,在自然语言推理(NLI)任务上,仅用一条简短直接的提示加少量示例(上下文学习),就能让 Gemma 2 9B、Mistral 7B、Llama 3.1 8B 等小型开源模型达到甚至超过以往依赖复杂提示与采样技巧的方法。Mistral 7B 在 MNLI 上超过已发表的上下文采样方法所取得的 63.4% 准确率,且 1 个示例与 15 个示例效果基本相当。
上下文内学习
In-Context Learning
模型无需更新权重即可从输入上下文中的示例学习并完成任务的能力
收录情报动态
该研究通过理论与实验证明,现代循环网络中普遍存在的门控机制,是状态空间模型(SSM)在上下文学习与精确检索任务上落后于 Transformer 的关键原因:门控使模型优先收敛到权重内的记忆解,从而延迟甚至阻止正确的上下文学习解形成,即便架构与记忆容量并无根本限制。与此同时,门控对长序列泛化往往有益,揭示了其在训练动力学中的双重作用。
OpenAI 的 GPT-6.1 Sol 在 Exin Therapeutics 的活体小鼠脑立体定位手术中连续执行三次解剖标志定位任务,借助外科医生反馈进行上下文学习,将定位误差从 0.6 毫米降至 0.3 毫米、人工纠正从 4 次减至 2 次,且未重新训练模型。这是 AI 从分析科研数据走向直接操控真实实验设备的早期信号,但样本量仅三次、尚未经同行评议,距离人类手术仍很远。
生物科技初创公司 Exin Therapeutics 让 GPT-6.1 Sol 连续三轮参与小鼠活体脑部手术的解剖标志定位,每轮由专业外科医生纠正并留存图像与测量记录供下轮参考。第三轮定位时间从 169 秒降至 86 秒,纠正次数由 4 次减至 2 次,误差从 0.6 毫米收窄到 0.3 毫米。样本仅 3 次操作,尚不足以证明稳定的手术能力,但展示了把真实操作反馈带入下一轮任务的上下文学习路径。
斯坦福一篇题为《A Circuit for In-Context Learning》的新论文指出,小模型的少样本能力并非真正“学会”新模式,而是靠标签查表:只有当同类标签在提示中重复出现时,模型才会触发这一查表机制。研究在 Qwen3-4B、SmolLM3-3B 与 Llama-3.2-3B 中追踪到完整路径——每个标签 token 存储所属句子类别,约 90 个靠后的注意力头负责将新句子与这些存储类别匹配。因此实用结论是:少样本提示中应重复每个标签,并只使用模型已能区分的类别,示例无法教给模型它本就缺失的特征。
Infini-AI-Lab 发布 Apache-2.0 开源框架 Hermit,通过“Harness Adapter”外部可训练层让 AI 智能体在不修改模型权重的前提下持续优化。该框架利用 RL 循环与 Git 版本控制管理指令、技能与记忆,在 CL-Bench 和 OfficeQA 基准上显著提升了准确率,但存在单次运行验证及较高推理成本的问题。
Google Research 团队在博客中提出了针对大语言模型(LLM)的“睡眠阶段”(Sleep Phase)概念,旨在解决持续学习中的灾难性遗忘问题。该框架模拟生物睡眠机制,允许模型在部署后通过离线整合新事实来增强推理能力,同时保持原有知识稳定,突破了传统静态知识截止日期的限制。
针对传统强化学习在极难任务中因无成功样本而无法优化的瓶颈,提出 RLTL;DR 框架。该方法让模型在失败后生成“TL;DR”式洞察并作为后续尝试的上下文,进而通过反向传播将这些外部反馈内化为直接映射。实验显示,该策略使 Qwen 3.5 9B 在 Pass@128=0 的高难数据集上从近乎 0% 提升至 12-13% 的独立通过率,且仅需少量数据即可复现性能。
腾讯混元团队推出 CL-bench,旨在评估大语言模型从新上下文中即时学习的能力。研究发现当前前沿模型在“测试者”角色上表现优异,但在模拟人类通过阅读文档或规则进行即时学习的场景中表现显著不足。该工作已开源代码、数据及论文,为提升 AI 的上下文适应性提供了新的量化标准。