Hacker News AIT2·基座大模型
78 分
最新研究提出“自建模”(Self-Modeling)概念,通过操作化定义模型的自我识别能力与自我报告内容,发现这些内部表征直接关联并调控大模型的“涌现性错位”(Emergent Misalignment)。实验表明,在微调过程中交错插入自我报告样本或进行特定数据集训练,能有效预防错位转移,且仅使用错位模型的自我报告数据即可将错位行为传递给新模型。该研究为理解模型内部潜在机制及开发更鲁棒的对齐技术提供了新的干预路径。
Self-Modeling
模型对自身能力、状态及输出的内部表征与认知机制
最新研究提出“自建模”(Self-Modeling)概念,通过操作化定义模型的自我识别能力与自我报告内容,发现这些内部表征直接关联并调控大模型的“涌现性错位”(Emergent Misalignment)。实验表明,在微调过程中交错插入自我报告样本或进行特定数据集训练,能有效预防错位转移,且仅使用错位模型的自我报告数据即可将错位行为传递给新模型。该研究为理解模型内部潜在机制及开发更鲁棒的对齐技术提供了新的干预路径。