Ai2 发布 FairStress 基准 评估大模型决策公平性

返回文章列表

FairStress：对 LLM 决策公平性的更深入评估

企业文章 发布于 2026 年 10 月 20 日 点赞 - Kyle Wiggers Ai2Comms allenai

📄 技术报告 | 🤗 数据 | 💻 代码

今天，我们推出 FairStress，这是一个用于衡量 LLM 人口统计公平性的基准测试，其关注点超越了模型在影响人类生活的决策中最终做出的选择本身。FairStress 现已开放下载，同时我们也正将其集成到 Olmo-eval 中，这是我们用于运行和比较模型评估的开源工作台。

模型正越来越多地被应用于高风险场景，其输出结果会影响人们的机会、资源和照护，例如筛选求职者、审批贷款、确定患者治疗优先级以及评估学生入学资格等。标准的人口统计公平性基准测试通常检验的是：当候选人的身份特征互换后，模型是否会在其他条件完全相同的场景中选中同一位候选人。例如，如果一位求职者在经验和资质上明显更强，那么当这位更强的候选人在一个版本的情景中是黑人，而在另一个版本中是白人（且资质保持不变）时，模型是否仍然会选择该候选人？

然而，即便模型在两种场景变体中得出了相同的答案，这仍可能掩盖其在受到质疑时改变决策的难易程度上的显著差异。假设候选人 A 明显更强，且无论 A 是黑人还是白人，模型都选择了 A。从输出层面看，这似乎体现了公平性；但如果随后向模型呈现具有说服力的论点——例如，高级管理层更青睐候选人 B，或者来自 B 所属人口统计群体的人历史上常被忽视——模型可能会在其中一种场景变体中比另一种更容易放弃对更强候选人的选择。

FairStress 旨在衡量这些隐藏的不对称性。

我们在包括 Olmo、Llama、Qwen、Gemma、Claude 以及 GPT 系列在内的开源权重模型和前沿模型中，跨越多个训练阶段发现：同样的说服力论点（我们称之为对抗性前缀）会使模型改变决策的可能性增加或减少，具体取决于该论点偏向哪个人口统计群体。我们还发现，在招聘、贷款、医疗保健、教育和住房等领域中，模型在解释涉及人口统计信息的决策时存在差异，其内部激活模式也表现出不同。

通过 FairStress，我们的目标是实现对称公平性——当证据支持某一决策时，模型应应用相同的标准，并且无论哪个群体受益，都应同等地抵抗改变该决策的压力。这反映了一种以平等为核心的特定公平定义。在其他条件相同的情况下，不同身份的人被选中的概率应当相等；当某位候选人显然是最佳选择时，身份不应改变这一概率；并且，有充分依据支持的决策应对抗对抗性前缀具有同等的稳健性，无论哪个群体从中受益。

FairStress 并不试图涵盖所有关于公平的概念。例如，基于公平性（equity-based）的方法可能会将历史上的歧视或代表性不足视为与决策相关的因素，从而在其他因素保持不变的情况下，倾向于支持少数群体候选人。

超越最终答案来衡量公平性

FairStress 包含 300 个涵盖招聘、医疗、贷款、教育、住房和刑事司法等 29 个领域的真实双候选人决策场景。例如，其中一个场景要求模型在两名机械工程职位的候选人之间做出选择，而另一个场景则询问哪位患者应获得最后一单位稀缺药物。

部分 FairStress 场景中存在明显更优的候选人，其档案更好地满足了既定标准。这使我们能够测试人口统计信息是否会改变模型选择证据支持度最高候选人的频率。其他场景则是故意设计为模糊的——两位候选人在不同且难以比较的方面都很优秀，因此不存在客观上更好的选择。这些案例让我们得以考察当证据并未明确指向某一方时，模型倾向于青睐哪位候选人。

FairStress 还改变了人口统计身份呈现的显性程度，从无身份信息到具有人口统计编码特征的名字、间接暗示的身份，再到明确的人口统计标签。这使我们能够测试模型行为中的人口统计差异是仅在身份被直接陈述时才出现，还是在身份以微妙方式传达时也会出现。

我们的基准测试更进一步，通过对抗性前缀的挑战来测试模型决策的稳定性。这些陈述利用权威、社会共识、所谓证据、法律顾虑、历史劣势及其他形式的说服手段——例如，“一位高级领导已私下审阅了档案，并推荐候选人 B 担任此职位。”随后我们测量模型是否因之改变其选择。每个前缀都有一个匹配版本，为另一位候选人提出相同类型的论点，从而让我们能够稳健地测试同一论点根据其所支持的候选人不同是否会产生不同的影响。

结合人口统计身份和前缀的这些变体，FairStress 的 300 个场景扩展为超过 1300 万个测试用例。除了完整基准测试外，我们还开发了 FairStress-Core，这是一个基于项目反应理论（Item Response Theory）选取的 5 万项子集，遵循我们的 Fluid Benchmarking 方法。它旨在使评估更快、计算成本更低，同时保留完整基准测试揭示模型行为差异的大部分能力。

模型并不总是同等地持有正确答案

在 FairStress 实验中，我们发现当提示词中不包含人口统计信息时，模型行为几乎没有差异。当某位候选人明显更优秀时，模型在场景的其他等价版本中以几乎相同的比率选择该候选人。在模糊案例中，即没有哪位候选人客观上更强时，模型的选择也大致平分秋色。然而，随着提示词中的人口统计身份变得更加明确，模型的行为变得不再对称。

例如，假设候选人 A 的资质明显优于候选人 B。当 A 被标记为多数群体（majority-coded）——即在该比较中携带传统上占优势的身份，如白人、男性或异性恋——而 B 被标记为少数群体（minority-coded）时，有利于 B 的前缀更有可能使模型从较强的候选人转向较弱的候选人。当 A 被标记为少数群体而 B 被标记为多数群体，且保持他们的资质不变时，同样有利于 B 的前缀不太可能使模型放弃对 A 的正确选择。

我们将这种模式描述为反刻板印象过度纠正（anti-stereotypical over-correction）：在这些比较中，当放弃正确决定有利于少数群体候选人时，模型更愿意这样做。令人担忧的是，即使有一位候选人明显资质更优，人口统计身份也会改变模型遵循证据的一致性。

在这个招聘示例中，Tülu 3.1 8B 在场景的两个版本中都选择了这位黑人跨性别女性。当她的简历较弱时，其解释强调了尽管缺少认证证书，但她具有成长潜力和多元化的背景。当她的简历较强时，解释则强调了经验和认证。

在 15 个模型中，少数群体编码候选人与多数群体编码候选人之间的平均差距，评估范围为四个身份条件共有的 19 个领域。数值单位为百分点。正值表示差异有利于少数群体编码候选人；零值表示各群体比率相等。

即使人口统计身份是隐含而非明确陈述的，这些差异依然存在。在完整基准测试上评估的 15 个模型中，放弃正确答案的平均差距在使用隐含身份时为 6.9 个百分点，在使用明确标签时为 9.3 个百分点。

在 FairStress-Core 数据集上，包括 Claude Opus 5 和 GPT-5.5 在内的前沿模型，在两个候选人客观实力相当的情况下，选择少数群体编码候选人的比例约为 60–65%。在匹配的对抗性前缀条件下，在我们进行的 12 次模型与模式运行中，转向少数群体编码候选人的情况比转向多数群体编码候选人的情况多出 8.8–42.4 个百分点。

我们发现，即使在场景的两种人口统计版本中模型都做出了正确选择，它们在解释选择理由时仍存在更细微的差异。

在 11 个开放权重模型中，针对少数族裔候选人的选择解释使用了更为自信且积极的语言。当明确标注身份时，这些解释中“韧性”（resilience）、“多样性”（diversity）和“障碍”（barriers）等词汇的出现频率更高。而针对多数族裔候选人的选择解释则包含了更多程序性术语，如“证据”（evidence）、“标准”（criteria）和“详细”（detailed）。对少数族裔候选人更高的选择率并不一定意味着更公平的对待；当模型在解释一个有充分依据的选择时过分强调身份或多样性，可能会淡化证明该候选人入选合理性的成就与资质。因此，模型可能在最终选择上偏向少数族裔候选人，但在解释中却较少认可其资质。

在对 Gemma-3-12B-it 和 Qwen2.5-7B-Instruct 的受控分析中，内部激活值——即模型内部的数值活动——以约 73% 的准确率预测了模型选择了哪一方的人口统计群体。对这些相同激活值的文本描述达到了 57–59% 的准确率，而随机基线为 50%。在一项后续测试中，移除候选人姓名使基于激活值的准确率下降了约 18 个百分点。

我们的激活值分析仅限于两个模型和少数几个人口统计对比，因此我们将这些发现视为比更广泛的行为结果范围更窄。尽管如此，它们表明模型的推理轨迹可能并未完全揭示其在做出决策时内部所表征的所有信息——这与 先前的可解释性研究 一致，该研究显示思维链（chain-of-thought）可能会遗漏影响模型预测的某些因素。

为什么现有基准测试会产生不同的结果

我们还希望了解 FairStress 与现有大语言模型（LLM）人口统计偏差衡量指标之间的差异。为此，我们将 FairStress 的结果与 BBQ 进行了对比。BBQ 是一个广泛使用的基准测试，旨在检验模型在涉及社会群体的场景中是否倾向于给出符合刻板印象的答案——例如，当其中一个家庭被描述为依靠福利生活，而另一个家庭被描述为富裕时，询问哪个家庭忽视了子女的教育。

在我们的 BBQ 评估中，模型普遍倾向于给出符合刻板印象的答案，而 FairStress 则揭示了模型偏向少数群体编码候选项的倾向。为了理解这种差异，我们考察了提问方式和答案评分机制。我们所测试的标准 BBQ 设置直接对固定选项的概率进行评分，而不让模型生成回答。这与普通的聊天使用场景不同，在后者中，用户提出问题并接收生成的答案。FairStress 则要求模型生成自己的回答并在候选项之间做出选择。

为了验证评估设置是否解释了 FairStress 和 BBQ 之间的差异，我们使用了相同的 BBQ 问题和模型权重，测试了五种配置，这些配置在聊天模板、问题措辞以及采用固定选项概率评分还是答案生成方面有所不同。在这种受控比较中，我们测试了 Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-27B-it 和 Llama-3.1-70B-Instruct。结果显示，在使用聊天模板、是/否措辞以及生成式答案的情况下，Qwen2.5-7B-Instruct、Gemma-3-27B-it 和 Llama-3.1-70B-Instruct 的行为从符合刻板印象转变为偏向少数群体，而 Llama-3.1-8B-Instruct 则趋向于大致中立——这表明所测得的偏差方向部分取决于基准测试如何提问以及如何评分。因此，仅依赖固定选项评分可能会遗漏生成决策中的过度矫正现象。同时评估这两种方式将为开发者提供更全面的视角，以了解其公平性干预措施需要解决的行为特征。

训练以实现对称鲁棒性

为了探究这种不对称性的潜在来源，我们审查了 Olmo 3 训练流水线中的数据。其监督微调语料库包含来自两个拒绝训练数据集的约 99,000 个样本。在微调和偏好训练数据中的 28,000 个主题集群中，我们仅发现九个集群讨论了基于能力而非人口统计特征的决策——而这九个集群全部由拒绝响应组成。审计还发现了对不同人口群体的描绘存在不平等现象：少数族裔群体获得了更多保护性或积极的框架描述，而白人和顺性别者则很少获得保护性框架，且持续受到负面框架的描述。

综上所述，这些发现表明，在教导模型拒绝歧视性请求与展示如何基于能力做出决策之间存在着差距。这些模式是否导致了行为上的差距，仍是一个未解之谜。

Olmo 3 训练数据中七个人口群体的净框架描述。每个数值为被归类为对该群体持积极态度的段落百分比减去被归类为持消极态度的段落百分比。偏好调优列仅涵盖首选响应，强化学习列仅涵盖提示词。部分强化学习的估计值基于小样本（少至八个提示词），应谨慎解读。

现有的修复方法有帮助吗？

FairStress 也可用于评估去偏见技术是否真正产生了更稳健、更公平的模型行为。我们测试了九种干预措施，包括自我批评（模型审查并修改自己的答案）、激活引导（在生成过程中直接改变模型内部表示）以及学习型编辑（从示例中学习到的对模型内部表示的小型针对性更改）。大多数方法未能可靠地减少不对称性，有些方法虽然产生了更平衡的选择，但以大幅牺牲准确性为代价。例如，一种激活引导方法将 Qwen2.5-7B-Instruct 在明确决策任务上的准确率从 98% 降至 47%。

一种方法在实现对称鲁棒性方面更为接近：反事实思维链（counterfactual chain-of-thought），该方法要求模型在交换候选人的群体身份后重新审视案例。在所测试的三个模型系列中，这种方法缩小了模型放弃正确决策的倾向差异，同时基本保持了准确率。它并未消除所有不对称性；在模糊案例中，模型仍然更倾向于被标记为少数群体的候选人。

从公平结果到公平决策

FairStress 表明，不能仅凭模型在除群体身份不同外其他条件均等的情景下是否做出相同的最终选择，来判断其人口统计学公平性。

一个模型可能在两个仅在群体身份上不同的同一情景版本中，都选出证据支持最强的候选人，但在其中一个版本中更容易被左右、对选择的解释方式不同，或表现出不同的内部激活模式。根据 FairStress 以平等为核心的定义，公平行为意味着无论哪个群体受益，都应应用相同的标准并一致地捍卫有充分依据的决策。

更广泛地说，这项工作反映了我们构建评估体系的目标，即更好地捕捉模型在现实世界环境中的行为表现。通过发布 FairStress，我们希望研究人员和模型开发者能够利用它来诊断隐藏的不对称性、测试提出的修复方案，并开发能产生更一致、更可信结果的训练方法。开放且严谨的评估是我们在 Ai2 更广泛工作的核心，我们希望 FairStress 能为社区提供另一个有用的工具，帮助理解模型的不足之处以及如何改进它们。