Hacker News AIT2·74 分
LLLM 架构以 22 层实现 45% KV 缓存缩减
原标题:Latent Lattice Language Models
- LLLM 在垂直残差流之外增加水平潜在维度,形成二维潜在格结构
- 22 层 LLLM 达到 40 层 Transformer 的验证困惑度,KV 缓存缩小 45%
- 可与 Jacobi 精化器及超连接等既有残差增强组合使用
AI 聚合热点事件 · 2026/11/18
研究提出 Latent Lattice Language Models(LLLM),在垂直残差流宽度之外引入水平潜在宽度,在 20B token 预训练规模下与同参数量 Transformer 对比。LLLM 仅用 22 层即达到与 40 层 Transformer 相当的验证困惑度,KV 缓存缩小 45%,并可叠加 Jacobi 精化器进一步提升效果。
原标题:Latent Lattice Language Models