术语slug: next-token-prediction

Token 预测

Next Token Prediction

根据前文序列预测下一个离散单元的概率分布任务

收录情报动态

共 1 篇 · 第 1/1 页
OpenAI 官方博客T1·基座大模型
68 分
OpenAI 发布 MuseNet:基于 Transformer 的多风格音乐生成模型

OpenAI 推出 MuseNet,这是一个能生成 4 分钟、包含 10 种乐器且融合多种风格(如乡村、莫扎特、披头士)的深层神经网络。该模型未显式编程音乐规则,而是通过预测数十万 MIDI 文件中的下一个 token,利用与 GPT-2 相同的大规模 Transformer 架构自主发现和谐、节奏和风格模式。