Hugging Face BlogT1·78 分
AI2 发布 StateBench 评估长文档状态追踪能力
原标题：StateBench: Testing how language models track state changes over long documents
- StateBench 专注于评估模型在长文本中随时间演变的信息（如变量赋值、剧情发展）的追踪准确性。
- 基准提供细粒度分析，帮助研究者识别模型具体在哪些环节出现状态丢失或混淆。
- 目标是为开发具备更强状态保持能力的新架构提供“北极星”指标及训练数据支持。