RWKV 发布:兼具 Transformer 优势的 RNN

原标题:Introducing RWKV - An RNN with the advantages of a transformer
35AI 研判分

RWKV 项目正式亮相,提出一种结合循环神经网络(RNN)线性推理效率与 Transformer 并行训练优势的新型架构。该模型旨在解决传统 RNN 难以并行化及 Transformer 内存开销大的痛点,为长序列处理提供新范式。

报道正文

Introducing RWKV - An RNN with the advantages of a transformer