术语slug: fused-cross-entropy-kernel

融合交叉熵内核

Fused Cross-Entropy Kernel

将 softmax 与交叉熵计算融合为单一 GPU 内核以节省显存与带宽的实现方式

收录情报动态

共 1 篇 · 第 1/1 页
Hacker News AIT2·基座大模型
74 分
Soft-MTP 修正多 Token 预测梯度干扰问题

研究团队发现标准多 Token 预测(MTP)训练存在梯度缺陷:MTP 交叉熵梯度中混入低信噪比的残差项,随规模增大而愈发干扰下一 Token 预测与多 Token 学习。他们提出 KL 梯度恢复技巧,通过直通梯度路由从交叉熵梯度中精确还原 KL 自蒸馏项,实现 Soft-MTP——仅需一行代码改动,无需词表级 logit 矩阵,且兼容标准融合交叉熵内核。实验显示其在 1.2B 规模微调后数学与代码推理更强,多数指标不逊于直接最小化 KL。