量子位 (微信公众号)T2·68 分
Epi2Diff 框架发布 利用 LLM 推理轨迹量化试题难度
原标题:不用考生实测就知道题难不难:这个AI试题评测框架把考试难度“量化”了 | TMLR
- 核心方法:将 LLM 推理轨迹拆解为阅读、分析、执行等八类认知片段,提取 83 维结构化特征(如片段占比、转移次数)。
- 实验结果:在 SAT 数学、阅读及 USMLE 等真实测评数据集中排名第一,SAT 数学难度分类准确率达 73.0%。
- 应用意义:替代传统依赖考生作答数据的预试模式,降低组卷成本,实现试题难度的自动化量化评估。