Hacker News AIT2·基座大模型
68 分
一篇技术博客提出将线性映射、MLP 和自注意力机制统一视为“联想记忆存储”的直观框架。作者通过该视角推导出各网络层理论上的记忆容量启发式规则,并指出随着存储量增加,模型对特定事实的召回精度会下降。
Associative Memory
基于内容而非地址进行存取的记忆系统,常用于模拟生物记忆机制
一篇技术博客提出将线性映射、MLP 和自注意力机制统一视为“联想记忆存储”的直观框架。作者通过该视角推导出各网络层理论上的记忆容量启发式规则,并指出随着存储量增加,模型对特定事实的召回精度会下降。
谷歌发布 Titans 及 MIRAS 研究,提出一种将在线优化、联想记忆与架构设计相结合的新型序列模型。该方案旨在解决 Transformer 在超长上下文中的计算瓶颈,通过引入非欧几里得范式的神经长期记忆模块,实现比传统 RNN/SSM 更强的信息捕获能力。这一进展为构建具备真正“长期记忆”的 AI 系统提供了新的理论框架和架构路径。