OpenAI 发布变分有损自编码器论文
原标题:Variational lossy autoencoder
45AI 研判分
OpenAI 于 2016 年发表《Variational Lossy Autoencoder》研究论文,提出一种结合变分推断与有损压缩的生成模型架构。该模型在 MNIST、OMNIGLOT 等数据集上实现了当时最先进的密度估计性能,为后续序列建模与生成式 AI 提供了重要技术基础。
报道正文
本文目录2 个章节
- 研究
- 产品
- 企业
- 开发者
- 公司
- 基金会(在新窗口中打开)
- 研究
- 产品
- 企业
- 开发者
- 公司
- 基金会(在新窗口中打开)
OpenAI
2016年11月8日
变分有损自编码器

加载中…
分享
摘要
表示学习旨在通过学到的表示形式,揭示观测数据的某些方面,使其适用于分类等下游任务。例如,对于二维图像而言,一个好的表示可能仅描述全局结构,而丢弃关于细节纹理的信息。在本文中,我们提出了一种简单但具有原则性的方法,通过将变分自编码器(VAE)与神经自回归模型(如 RNN、MADE 和 PixelRNN/CNN)相结合,来学习此类全局表示。我们提出的 VAE 模型使我们能够控制全局潜在代码可以学习的内容;通过相应地设计架构,我们可以强制全局潜在代码丢弃无关信息(例如二维图像中的纹理),因此该 VAE 仅以“有损”方式对数据进行“自动编码”。此外,通过利用自回归模型同时作为先验分布 p(z) 和解码分布 p(x|z),我们可以显著提升 VAE 的生成建模性能,在 MNIST、OMNIGLOT 和 Caltech-101 Silhouettes 密度估计任务上取得了新的最先进结果。
作者
Xi Chen, Durk Kingma, Tim Salimans, Yan Duan, Prafulla Dhariwal, John Schulman, Ilya Sutskever, Pieter Abbeel