OpenAI 官方博客T1·基座大模型
45 分
该研究证明,与语言模型类似,在像素序列上训练的大型 Transformer 模型能够生成连贯的图像补全和样本。通过建立样本质量与图像分类准确率之间的相关性,研究发现最佳生成模型在无监督设置下具备可与顶级卷积网络相竞争的特征提取能力。
Unsupervised Learning
无需人工标注数据,从数据内在结构中学习特征的机器学习方法
该研究证明,与语言模型类似,在像素序列上训练的大型 Transformer 模型能够生成连贯的图像补全和样本。通过建立样本质量与图像分类准确率之间的相关性,研究发现最佳生成模型在无监督设置下具备可与顶级卷积网络相竞争的特征提取能力。
OpenAI 推出 MuseNet,这是一个能生成 4 分钟、包含 10 种乐器且融合多种风格(如乡村、莫扎特、披头士)的深层神经网络。该模型未显式编程音乐规则,而是通过预测数十万 MIDI 文件中的下一个 token,利用与 GPT-2 相同的大规模 Transformer 架构自主发现和谐、节奏和风格模式。
OpenAI 推出大规模无监督语言模型 GPT-2,在多项基准测试中达到 SOTA。该模型无需特定任务微调,即可执行阅读理解、翻译、问答及摘要等复杂任务,确立了“预训练+零样本/少样本”的新范式。
OpenAI 发布了一种无监督学习系统,仅通过预测亚马逊评论中的下一个字符进行训练。该系统成功学到了极佳的情感表示能力,证明了语言模型在无标注数据下捕捉语义细微差别的能力。
OpenAI 发布一篇关于生成模型的综述文章,介绍了四个相关项目并解释了生成模型的定义、重要性及未来方向。作为2016年的早期内容,该文主要侧重于概念普及而非具体技术突破或新模型发布。