Hacker News AIT2·基座大模型
74 分
研究提出 Latent Lattice Language Models(LLLM),在垂直残差流宽度之外引入水平潜在宽度,在 20B token 预训练规模下与同参数量 Transformer 对比。LLLM 仅用 22 层即达到与 40 层 Transformer 相当的验证困惑度,KV 缓存缩小 45%,并可叠加 Jacobi 精化器进一步提升效果。
Hyper-Connections
对残差连接进行多路扩展以增强信息流动的残差流改进方案
研究提出 Latent Lattice Language Models(LLLM),在垂直残差流宽度之外引入水平潜在宽度,在 20B token 预训练规模下与同参数量 Transformer 对比。LLLM 仅用 22 层即达到与 40 层 Transformer 相当的验证困惑度,KV 缓存缩小 45%,并可叠加 Jacobi 精化器进一步提升效果。