Rohan Paul (@rohanpaul_ai)T2·78 分
研究揭示基准低分可被精确制造
原标题:This paper finds that a low benchmark score can be manufactured precisely, so a low score alone says...
- 低分可能源于模型被刻意压制,单看分数无法区分能力不足与人为压分
- LoRA 调节旋钮可在 1.9 分内命中目标分数,远优于提示词诱导的 42 至 47 分偏差
- 人为压分会产生异常集中的错误分布,最多 97% 新错误落在同一选项字母上