现代 Transformer 架构纯数学推导与第一性原理 (数学附录)

第二篇：复数与几何旋转 —— RoPE 旋转位置编码的高中推导

旋转位置编码（RoPE）被誉为当代大模型最天才的数学发明。看似高深莫测，其实全篇只用到了高中的复数乘法与三角函数两角和差公式！

2.1 高中复数回忆：虚数 $i$ 的旋转几何

在高中代数里，为了解方程 $x^2 = -1$，数学家定义了虚数单位 $i = \sqrt{-1}$。 复数的一般形式为 $z = a + bi$（$a$ 是实部，$b$ 是虚部）。

在复平面（Gauss 平面）上：

• 横轴是实数轴，纵轴是虚数轴。复数 $z = 1$ 就是横轴上的点 $(1, 0)$；
• 把它乘以 $i$：$1 \times i = i$，变成了纵轴上的点 $(0, 1)$！相当于逆时针旋转了 $90^\circ$；
• 再乘以一个 $i$：$i \times i = i^2 = -1$，变成了点 $(-1, 0)$！又逆时针旋转了 $90^\circ$；
• 再乘以一个 $i$：$-1 \times i = -i$，变成了点 $(0, -1)$！又逆时针旋转了 $90^\circ$；
• 再乘以一个 $i$：$-i \times i = -(-1) = 1$，回到了原点！

高中数学核心顿悟：在复数的世界里，“乘法”的几何本质就是“旋转”！

===================================================================================
                       复数平面上连续乘 i 的 90度 几何旋转
===================================================================================

                              虚数轴 (Im)
                                   ▲
                                   │  (0, 1) = i
                                   │   ▲
                                   │   │ 乘 i (逆时针 90°)
                                   │   │
        (-1, 0) = -1 ◄─────────────┼─────────────► (1, 0) = 1
                乘 i (又转 90°)    │   │  实数轴 (Re)
                                   │   │
                                   │   ▼ 乘 i (再转 90°)
                                   │  (0, -1) = -i
                                   ▼
===================================================================================

2.2 欧拉公式：任意角度的旋转轮盘

如果不想每次只转 $90^\circ$，想转一个任意角度 $\theta$ 怎么办？ 数学大师欧拉给出了人类数学史上的皇冠定理——欧拉公式（Euler's Formula）： $e^{i\theta} = \cos\theta + i\sin\theta$

我们来看一个模长为 1 的复数 $e^{i\theta}$：

• 当 $\theta = 0$ 时：$e^{i0} = \cos 0 + i\sin 0 = 1$（指向 0 度横轴）；
• 当 $\theta = \frac{\pi}{2}$（即 $90^\circ$）时：$e^{i\pi/2} = \cos 90^\circ + i\sin 90^\circ = i$（精准对齐上面的结论！）；
• 当 $\theta = \pi$（即 $180^\circ$）时：$e^{i\pi} = \cos 180^\circ + i\sin 180^\circ = -1$，移项便得到著名的极美公式：$e^{i\pi} + 1 = 0$！

因此，$e^{i\theta}$ 就是一个绝对纯净的“旋转算子”：任何一个复数只要乘上它，长度丝毫不变，逆时针精准旋转 $\theta$ 弧度！

2.3 纸上手算：为什么两数相乘，角度自然相加？

我们用高中学过的三角函数两角和公式，亲手推导一遍欧拉乘法：

• $\cos(\alpha + \beta) = \cos\alpha\cos\beta - \sin\alpha\sin\beta$
• $\sin(\alpha + \beta) = \sin\alpha\cos\beta + \cos\alpha\sin\beta$

设两个旋转复数分别为 $e^{i\alpha}$ 和 $e^{i\beta}$，我们将它们按普通多项式乘开： $e^{i\alpha} \cdot e^{i\beta} = (\cos\alpha + i\sin\alpha)(\cos\beta + i\sin\beta)$ $= (\cos\alpha\cos\beta) + i(\cos\alpha\sin\beta) + i(\sin\alpha\cos\beta) + i^2(\sin\alpha\sin\beta)$ 因为 $i^2 = -1$，把实部和虚部分开归拢： $= \underbrace{(\cos\alpha\cos\beta - \sin\alpha\sin\beta)}_{\text{这正是 } \cos(\alpha + \beta) !} + i \underbrace{(\sin\alpha\cos\beta + \cos\alpha\sin\beta)}_{\text{这正是 } \sin(\alpha + \beta) !}$ $= \cos(\alpha + \beta) + i\sin(\alpha + \beta) = e^{i(\alpha + \beta)}$

看到了吗！ 在复数乘法下，原本复杂的几何旋转，在指数上变成了极其平易近人的**“加法”**！

2.4 终极揭秘：RoPE 如何让相对距离 $(m-n)$ 自动浮出水面？

现在我们来到 RoPE 旋转位置编码的最核心推演现场！

假设一句话里有两个词：

• 第一个词在位置 $m$（比如 $m=2$），它的查询向量是 $q = (x_1, x_2)$，化为复数即 $q = x_1 + i x_2$；
• 第二个词在位置 $n$（比如 $n=5$），它的键向量是 $k = (y_1, y_2)$，化为复数即 $k = y_1 + i y_2$。

第一步：施加位置旋转

根据它们各自的位置下标，分别让它们旋转对应的圈数：

• 对 $q$ 旋转 $m\theta$ 角度：$q_m = q \cdot e^{im\theta}$
• 对 $k$ 旋转 $n\theta$ 角度：$k_n = k \cdot e^{in\theta}$

第二步：计算注意力内积

在高中数学中，两向量点乘可以写为复数的共轭乘积的实部： $\vec{q}_m \cdot \vec{k}_n = \text{Re}\big( q_m \cdot k_n^* \big)$ （注：$k^*$ 是复数共轭，即 $(a + bi)^* = a - bi$，在极坐标下 $(e^{in\theta})^* = e^{-in\theta}$）

把旋转后的式子代进去： $q_m \cdot k_n^* = \left( q \cdot e^{im\theta} \right) \cdot \left( k \cdot e^{in\theta} \right)^*$ $= q \cdot e^{im\theta} \cdot k^* \cdot e^{-in\theta}$ 把实数部分与指数部分重新组合： $= (q \cdot k^*) \cdot \big( e^{im\theta} \cdot e^{-in\theta} \big)$ 利用底数相同、指数相加的初中代数法则： $= (q \cdot k^*) \cdot e^{i(m - n)\theta}$

最后取实部： $\vec{q}_m \cdot \vec{k}_n = \text{Re}\Big( (q \cdot k^*) \cdot e^{i\mathbf{(m - n)}\theta} \Big)$

推导完成！全体起立！ 请看加粗的部分：原本各自分散在句子不同位置的绝对编号 $m$ 和 $n$，在相乘的一刹那，天然化解成了差值 $(m - n)$！ 这意味着：

• 如果 $m=2, n=5$，差值是 $-3$；
• 如果整句话往后平移 100 个字，$m=102, n=105$，差值依然是 $102 - 105 = -3$！
• 它们的点乘内积得分分毫不差，完全相等！这就是大模型实现“平移不变性”与长文本外推能力的数学铁证！

第三篇：统计与方差 —— 为什么 Attention 必须除以 $\sqrt{d_k}$？

在自注意力机制公式中： $\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{Q K^T}{\mathbf{\sqrt{d_k}}}\right) V$ 初学者往往对分母上的 $\sqrt{d_k}$ 感到莫名其妙：为什么要平白无故开个根号除一下？

3.1 高中统计学基本功：期望与方差

• 期望 $E[X]$（均值）：代表变量平均落在哪里；
• 方差 $\text{Var}(X)$：代表数据波动的剧烈程度，公式为 $\text{Var}(X) = E[X^2] - (E[X])^2$；
• 标准差 $\sigma$：方差开根号 $\sigma = \sqrt{\text{Var}(X)}$。

高中两个独立变量的统计性质：

如果两个随机变量 $X$ 和 $Y$ 互相独立，且均值都为 0（$E[X]=E[Y]=0$）：

1. 乘积的方差： $\text{Var}(X \cdot Y) = \text{Var}(X) \cdot \text{Var}(Y)$
2. 和的方差： $\text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y)$

3.2 纸上算方差：不除 $\sqrt{d_k}$ 的雪崩过程

在我们的 Mini-LLaMA-0.04B 模型中，每个注意力头的维度是 $d_k = 64$。 计算一次注意力打分，是把 64 个数字相乘再累加： $S = \vec{q} \cdot \vec{k} = q_1 k_1 + q_2 k_2 + q_3 k_3 + \dots + q_{64} k_{64}$

因为前面的数据都经过了归一化，我们合理假设每一个分量都是标准的均值为 0、方差为 1 的变量：

• $E[q_i] = 0, \quad \text{Var}(q_i) = 1$
• $E[k_i] = 0, \quad \text{Var}(k_i) = 1$

那么：

1. 每一对单项乘积的方差： $\text{Var}(q_i k_i) = \text{Var}(q_i) \cdot \text{Var}(k_i) = 1 \times 1 = 1$
2. 64 项相加后的总方差： $\text{Var}(S) = \sum_{i=1}^{64} \text{Var}(q_i k_i) = 1 + 1 + \dots + 1 = \mathbf{64}$
3. 总打分结果的标准差： $\sigma_S = \sqrt{64} = \mathbf{8}$

😱 灾难发生了：

标准差等于 8 意味着什么？根据正态分布“3-Sigma 原则”： 算出来的打分 $S$ 经常波动在 $-24 \sim +24$ 之间！ 现在，把一个包含 $+20$ 和 $-15$ 的向量送入 Softmax 函数： $\text{Softmax}(S)_i = \frac{e^{S_i}}{\sum_j e^{S_j}}$

• $e^{20} \approx 485,165,195$（将近 5 亿！）
• $e^{-15} \approx 0.0000003$
• 结果：最大分数的那个词独占了 99.9999% 的概率，其余所有词的概率全部被压死成了 0.0000%！

更恐怖的是求导链式法则：Softmax 的反向传播导数为： $\frac{\partial p_i}{\partial S_i} = p_i(1 - p_i)$ 当 $p_i \approx 1$ 时，导数是 $1 \times (1 - 1) = \mathbf{0}$； 当 $p_i \approx 0$ 时，导数是 $0 \times (1 - 0) = \mathbf{0}$！ 结论：反向传播回来的所有梯度全部归零！神经网络瞬间由于“导数休克”彻底丧失学习能力！

3.3 救命解药：方差缩放重置

为了拯救濒死的网络，数学家根据高中方差常数乘法法则 $\text{Var}(c \cdot X) = c^2 \cdot \text{Var}(X)$： 只要给打分乘以一个常数 $c = \frac{1}{\sqrt{d_k}}$： $\text{Var}\left( \frac{S}{\sqrt{d_k}} \right) = \left(\frac{1}{\sqrt{d_k}}\right)^2 \cdot \text{Var}(S) = \frac{1}{d_k} \cdot d_k = \mathbf{1.0}$

标准差被精准拽回到了 $\sqrt{1.0} = 1.0$！ 打分大部分落在 $-3 \sim +3$ 之间，此时 Softmax 概率过渡极其平滑均匀，导数处于最敏感的黄金响应区，模型得以欢快而健康地更新参数！

第四篇：微积分与极限 —— RMSNorm 尺度免疫与 SiLU 平滑特性

4.1 RMSNorm 的尺度无关性推导

在第 02 章中我们见识了 RMSNorm： $\text{RMSNorm}(x) = \frac{x}{\sqrt{\frac{1}{d}\sum x_i^2 + \epsilon}} \odot \gamma$ 很多同学好奇：为什么不需要像高中物理一样测量绝对幅值？

假设前一层神经网络发生了异常震荡，把输出向量的数值集体放大了 100 倍（即输入变成了 $100x$）：

• 分子变成了：$100x$；
• 分母上的均方根计算： $\text{RMS}(100x) = \sqrt{\frac{1}{d}\sum (100x_i)^2} = \sqrt{100^2 \cdot \frac{1}{d}\sum x_i^2} = 100 \cdot \text{RMS}(x)$
• 分子分母相除： $\frac{100x}{100 \cdot \text{RMS}(x)} = \frac{x}{\text{RMS}(x)}$ 常数 100 在分子分母中被无情地精准约分抵消掉了！ 这就是数学上的“尺度无关性”。不管外界输入怎么乱晃，RMSNorm 输出的数据振幅永远稳固如山。

4.2 极限分析：因果掩码为什么能让“未来”概率归零？

在计算自注意力时，我们不能让第 2 个字偷看到第 3 个字。 在代码中，我们在未来的位置填上了负无穷大（$-\infty$）： 根据高中数学指数函数 $y = e^x$ 的图像性质： 当自变量 $x$ 向负无穷大狂奔时： $\lim_{x \to -\infty} e^x = 0$

代入 Softmax 分子计算中： 未来词对应的分子项 $e^{-\infty}$ 严格收敛到 0。 无论分母是多少，未来词分配到的注意力权重必然是 $0.00\%$！数学逻辑极其干脆利落。

第五篇：信息论与概率链 —— 自回归交叉熵的本源推演

很多新手不理解：模型每次只算“根据上文预测下一个字”，为什么最终能学会写出一整篇结构完整、充满逻辑的小说？

5.1 高中条件概率连乘定理

在高中概率论中，我们学过条件概率公式： $P(A \cap B) = P(A) \cdot P(B \mid A)$ 推广到包含 $T$ 个词的完整文章 $W = (w_1, w_2, w_3, \dots, w_T)$，整篇文章出现的总体概率，等于每一步条件概率的链式连乘： $P(W) = P(w_1) \cdot P(w_2 \mid w_1) \cdot P(w_3 \mid w_1, w_2) \cdots P(w_T \mid w_{<T}) = \prod_{t=1}^T P(w_t \mid w_{<t})$

5.2 对数的魔法：连乘变连加

我们希望整篇文章出现的概率 $P(W)$ 越大越好（这在统计学中称为极大似然估计 MLE）。 但是，几千个介于 $0 \sim 1$ 之间的微小概率连乘在一起，结果会变成 $10^{-500}$，计算机的浮点数寄存器会直接发生下溢归零！

高中对数函数的单调递增性质拯救了我们： $\ln(A \cdot B) = \ln A + \ln B$ 两边同时取自然对数 $\ln$，乘法瞬间变成了优美的加法！再添上一个负号，把“最大化概率”转换为深度学习标准的“最小化损失（Loss）”： $\mathcal{L} = -\ln P(W) = -\sum_{t=1}^T \ln P(w_t \mid w_{<t})$

这就是代码中自回归损失的本质：把序列错位 1 位，让模型计算每一步真实下文的负对数似然（Negative Log-Likelihood, NLL），在数学上完全等价于交叉熵损失（Cross-Entropy Loss）！

第六篇：高中数学到大模型核心公式对照总览

最后，让我们用一张规范清晰的对照表，把高中数学概念与大模型架构算子彻底贯通：

💡 学毕指引： 掌握了上述这套数学武器后，请带着满满的信心重新回到 第 02 章｜从零手写现代 Transformer 架构，在代码的每一行中亲眼见证这些数学定律是如何指挥着千亿晶体管翩翩起舞的吧！