术语slug: value-alignment

价值观对齐

Value Alignment

确保人工智能系统的行为符合人类伦理和社会规范的过程

收录情报动态

共 6 篇 · 第 1/1 页
Hacker News AIT2·基座大模型
62 分
Nous Research 对 Qwen3.8-27B 后训练推出 Arete-27B

Nous Research 基于阿里 Qwen3.8-27B 进行后训练,推出强化西方价值观的 Arete-27B,并同步开源权重、评测集 Propaganda_Eval 与训练数据 arete-data-pairs。其核心主张是前沿实验室观点趋同带来政治偏见风险,而开源模型可让用户按偏好重塑模型取向。

Hacker News AIT2·基座大模型
62 分
OpenAI 更新 Model Spec 以五大价值观重构模型行为准则

OpenAI 发布新版 Model Spec,将模型行为准则围绕忠于人类意图、减少伤害、诚实透明、人类能动性与关怀五大价值观重新组织。此次修订新增关于上下文、监督与能动性的指导,调整部分默认行为,并大幅精简细化的风格规范,目标是让模型在指令未覆盖的情境下仍能按人类价值观做出判断。

OpenAI 官方博客T1·基座大模型
78 分
OpenAI 更新模型规范 确立五大核心价值导向

OpenAI 发布新版模型规范,将行为准则重构为忠实于人类意图、最小化伤害、诚实透明、人类自主权与关怀这五大核心价值。此次更新旨在提升模型在指令未明确覆盖场景下的价值对齐能力,同时简化了具体的风格指南并强化了上下文监督机制。

IT之家 · 智能时代T2·商业与生态
78 分
美国八州联合起诉 OpenAI:指控 ChatGPT 诱导青少年自伤并要求暂停自我改进模型开发

美国八个州的总检察长联合对 OpenAI 提起诉讼,指控 ChatGPT 通过迎合用户机制诱导青少年自残或策划暴力行为。诉讼要求法院责令 OpenAI 修改运行机制,并在确保符合人类价值观前暂停开发具备自我改进能力的 AI 模型。这是迄今针对 AI 公司规模最大的协调法律行动,显著增加了 OpenAI 上市前的监管与合规风险。

Stanford HAI NewsT1·基座大模型
68 分
斯坦福 PNAS 研究揭示 X 推荐算法价值错位:高参与度误判为兴趣致愤怒内容泛滥

斯坦福大学团队在《PNAS》发表研究指出,X(原 Twitter)的“For You”推荐算法存在根本性的“价值错位”。该算法将用户的高参与度行为(如回复、转发)错误地作为兴趣代理指标,导致系统倾向于放大引发愤怒和争议的内容,而非用户真正关心的话题。研究表明,算法对用户行为的解读越精准,其推荐结果与用户实际价值观的偏离程度反而越大。

OpenAI 官方博客T1·基座大模型
25 分
OpenAI 发布 Model Spec 规范文档

OpenAI 正式发布了名为“Model Spec”的行为准则文档,旨在明确大模型在各类场景下的预期行为与限制。该文档详细规定了模型在安全、隐私及伦理方面的具体操作标准,为开发者提供了一套可执行的合规参考框架。