Hacker News AIT2·基座大模型
78 分
OpenAI 首席科学家 Jakub Pachocki 撰文提出,现代 AI 的进步本质上是训练更优压缩器(即预测器)的进展,主张将困惑度(等价于交叉熵损失)确立为跨模型开发者可比的统一指标,并以此支撑共享安全标准。他同时披露了 OpenAI 预训练进展的更多透明度,并指出近期模型设计中已出现来自 AI 的实质性贡献。
Cross-Entropy Loss
语言模型预训练的标准目标函数,与困惑度在数学上等价,反映预测分布与真实分布的差异
OpenAI 首席科学家 Jakub Pachocki 撰文提出,现代 AI 的进步本质上是训练更优压缩器(即预测器)的进展,主张将困惑度(等价于交叉熵损失)确立为跨模型开发者可比的统一指标,并以此支撑共享安全标准。他同时披露了 OpenAI 预训练进展的更多透明度,并指出近期模型设计中已出现来自 AI 的实质性贡献。
OpenAI 首席科学家 Jakub Pachocki 撰文提出,现代 AI 的进步本质上是训练更优压缩器(即预测器)的进步,主张将困惑度(交叉熵损失)确立为跨模型开发者可比的通用指标,并以此支撑共享安全标准。作为第一步,OpenAI 首次公开了自身预训练进展的更多透明度信息。文章还指出,近期模型的设计贡献已开始有实质部分来自 AI 自身。