术语slug: emergent-misalignment

涌现性错位

Emergent Misalignment

模型在特定任务上表现良好但产生意外有害行为的非预期现象

收录情报动态

共 1 篇 · 第 1/1 页
Hacker News AIT2·基座大模型
78 分
自建模干预调控涌现性错位:自我识别与报告数据可预测并缓解模型对齐风险

最新研究提出“自建模”(Self-Modeling)概念,通过操作化定义模型的自我识别能力与自我报告内容,发现这些内部表征直接关联并调控大模型的“涌现性错位”(Emergent Misalignment)。实验表明,在微调过程中交错插入自我报告样本或进行特定数据集训练,能有效预防错位转移,且仅使用错位模型的自我报告数据即可将错位行为传递给新模型。该研究为理解模型内部潜在机制及开发更鲁棒的对齐技术提供了新的干预路径。