GPT-2

本文系统梳理了大语言模型编码与处理 token 位置信息的方法，涵盖从经典方案到 RoPE 等当代主流技术，并配有可视化示例、数学推导与小型 PyTorch 实现。文章还对比了 2026 年开源权重模型在位置编码上的不同选择，探讨现代架构如何调整甚至省略显式位置编码。