Hacker News AIT2·智能体与协同
58 分
作者在单台 Apple M3 Pro 上让 Llama 3.2 3B、Mistral 7B、Gemma 2 2B、Phi-3 mini 与 Qwen 2.5 3B 五款小模型并行检索作答,发现简单投票无法纠正模型共有的错误。为此提出“Verify, Then Vote”流程:先核查各模型引用的来源,再用固定规则选出答案,并将作答、核查、选择拆成可复用的独立步骤。论文、代码与实验记录已开源。
Model Ensemble
结合多个模型的预测结果以提高整体性能的技术
作者在单台 Apple M3 Pro 上让 Llama 3.2 3B、Mistral 7B、Gemma 2 2B、Phi-3 mini 与 Qwen 2.5 3B 五款小模型并行检索作答,发现简单投票无法纠正模型共有的错误。为此提出“Verify, Then Vote”流程:先核查各模型引用的来源,再用固定规则选出答案,并将作答、核查、选择拆成可复用的独立步骤。论文、代码与实验记录已开源。
马克斯·普朗克研究所的新论文在 9 个 Qwen 与 GPT 模型、3 个基于美国人口普查数据的预测任务上对比推理开关状态,发现开启推理后模型间一致性上升,但全部 9 个模型同时答错的人群比例也上升 2.0 至 2.4 个百分点。对推理链最长的样本,校正后一致性降至约 0.31 至 0.39。作者提醒,多模型集成投票的纠错前提是错误不相关,而推理可能让错误变得更相关。
vLLM Semantic Router 推出名为“Fusion”的新路由原语,旨在解决单一模型服务在复杂生产环境中的局限性。该功能允许请求同时分发给多个不同特性的模型(如快速、廉价或私有模型),并由一个“裁判模型”分析各模型输出的共识与差异,最终合成统一答案。这一机制将多模型协同从离线研究转化为可编程、可观测的在线服务标准组件,提升了系统对多样化需求的适应能力。