术语slug: rnn

循环神经网络

RNN

具有内部记忆状态、能处理序列数据的神经网络结构

收录情报动态

共 4 篇 · 第 1/1 页
Hacker News AIT2·基座大模型
68 分
Quanta 深度解析注意力机制:从 Bahdanau 2014 原型到 Transformer 核心数学原理的演进

文章追溯了注意力机制(Attention)作为现代 AI 基石的历史起源,重点剖析了 Dzmitry Bahdanau 在 2014 年提出的早期神经机器翻译模型如何突破传统瓶颈。通过数学视角阐释该机制为何能支撑大规模语言处理,揭示了其从简单加权求和演变为 Transformer 架构核心的内在逻辑与理论必然性。

Hugging Face BlogT1·基座大模型
35 分
RWKV 发布:兼具 Transformer 优势的 RNN

RWKV 项目正式亮相,提出一种结合循环神经网络(RNN)线性推理效率与 Transformer 并行训练优势的新型架构。该模型旨在解决传统 RNN 难以并行化及 Transformer 内存开销大的痛点,为长序列处理提供新范式。

OpenAI 官方博客T1·基座大模型
78 分
RL²:用慢速强化学习训练快速适应算法

OpenAI 提出 RL² 框架,将“快速”强化学习算法编码进循环神经网络(RNN)权重中。通过通用“慢速”RL 算法在大量任务上训练该 RNN,使其具备跨 Episode 记忆能力,从而在新环境中实现少样本快速适应。实验证明该方法在多臂老虎机及视觉导航等大规模任务中有效。