Hacker News AIT2·基座大模型
78 分
OpenAI 首席科学家 Jakub Pachocki 撰文提出,现代 AI 的进步本质上是训练更优压缩器(即预测器)的进展,主张将困惑度(等价于交叉熵损失)确立为跨模型开发者可比的统一指标,并以此支撑共享安全标准。他同时披露了 OpenAI 预训练进展的更多透明度,并指出近期模型设计中已出现来自 AI 的实质性贡献。
Perplexity
衡量语言模型预测不确定性的指标,数值越低表示对数据的压缩与预测能力越强
OpenAI 首席科学家 Jakub Pachocki 撰文提出,现代 AI 的进步本质上是训练更优压缩器(即预测器)的进展,主张将困惑度(等价于交叉熵损失)确立为跨模型开发者可比的统一指标,并以此支撑共享安全标准。他同时披露了 OpenAI 预训练进展的更多透明度,并指出近期模型设计中已出现来自 AI 的实质性贡献。
OpenMed 团队发布了一套端到端蛋白质 AI 流水线,并开源了基于 CodonRoBERTa-large-v2 的跨物种 mRNA 语言模型。该模型在 25 个物种上完成训练,总耗时 55 GPU 小时,成本低至 165 美元,其困惑度(4.10)与密码子适应指数相关性显著优于 ModernBERT。