Token 生成循环

自回归大语言模型逐个预测下一个词元的迭代过程，是造成推理延迟高和计算成本随序列长度线性增长的主要瓶颈。