Rohan Paul (@rohanpaul_ai)T2·基座大模型
71 分
一项基于 Chatbot Arena 126 万次盲测投票的研究发现,对于完全相同的冻结模型对,用户给出“两个都差”评价的比例每月上升 1.71 个百分点,基线为 17.1%。但 2024 年较强模型在决定性投票中的胜率基本不变,说明模型排名保持稳定,变化的是用户评判尺度而非模型能力。
Model Snapshot
固定版本权重的模型副本,用于保证评测期间模型行为不发生改变
一项基于 Chatbot Arena 126 万次盲测投票的研究发现,对于完全相同的冻结模型对,用户给出“两个都差”评价的比例每月上升 1.71 个百分点,基线为 17.1%。但 2024 年较强模型在决定性投票中的胜率基本不变,说明模型排名保持稳定,变化的是用户评判尺度而非模型能力。