Hacker News AIT2·基座大模型
74 分
研究提出 Latent Lattice Language Models(LLLM),在垂直残差流宽度之外引入水平潜在宽度,在 20B token 预训练规模下与同参数量 Transformer 对比。LLLM 仅用 22 层即达到与 40 层 Transformer 相当的验证困惑度,KV 缓存缩小 45%,并可叠加 Jacobi 精化器进一步提升效果。
面向教育内容筛选的大规模高质量预训练语料数据集
研究提出 Latent Lattice Language Models(LLLM),在垂直残差流宽度之外引入水平潜在宽度,在 20B token 预训练规模下与同参数量 Transformer 对比。LLLM 仅用 22 层即达到与 40 层 Transformer 相当的验证困惑度,KV 缓存缩小 45%,并可叠加 Jacobi 精化器进一步提升效果。