术语slug: latent-lattice-language-models

潜在格语言模型

Latent Lattice Language Models

在垂直残差流之外引入水平潜在宽度的语言模型架构,以更少层数达到同等困惑度

收录情报动态

共 1 篇 · 第 1/1 页
Hacker News AIT2·基座大模型
74 分
LLLM 架构以 22 层实现 45% KV 缓存缩减

研究提出 Latent Lattice Language Models(LLLM),在垂直残差流宽度之外引入水平潜在宽度,在 20B token 预训练规模下与同参数量 Transformer 对比。LLLM 仅用 22 层即达到与 40 层 Transformer 相当的验证困惑度,KV 缓存缩小 45%,并可叠加 Jacobi 精化器进一步提升效果。