文章详情

互动

CS336（三）：现代 LLM 的基础架构

355318分钟2026-09-0510江苏苏州0

CS336（三）：现代 LLM 的基础架构

今天的大语言模型仍然建立在 Transformer 上，但真正落到模型结构里，Norm、激活函数、位置编码和 Attention 都已经和最初版本有了不少差别。

这些改动主要围绕三个问题：怎样让训练更稳定，怎样控制参数量，以及怎样减少推理时的计算和显存开销。

1. 归一化与残差路径

1.1 Pre-Norm

Pre-Norm 先对输入做归一化，再送入 Attention 或 FFN，最后加上原始输入。用 $F$ 表示 Attention 或 FFN，则 $y=x+F(\operatorname{Norm}(x))$ ；Post-Norm 则是 $y=\operatorname{Norm}(x+F(x))$ 。

flowchart LR
    X[x] --> N[Norm]
    N --> F[Attention / FFN]
    F --> A[Add]
    X --> A
    A --> Y[output]

区别在于残差连接是否经过 Norm。Pre-Norm 保留了从输入直接到输出的路径，信息和梯度都可以沿这条路径传递。Post-Norm 则在相加后再做归一化，梯度仍要经过 Norm。模型较深时，Pre-Norm 通常更容易稳定训练，也更少出现梯度峰值。

从梯度看，Pre-Norm 的导数中有一个直接来自 $x$ 的恒等项 $I$ ；Post-Norm 则连这条路径也要乘上 Norm 的导数。这里要保留的是残差支路的恒等连接，与 FFN 使用 ReLU 还是其他激活函数无关。

1.2 LayerNorm 与 RMSNorm

对一个有 $d$ 个元素的隐藏向量，LayerNorm 先减均值，再除以标准差；RMSNorm 保留尺度归一化，省掉去均值和可学习偏移项：

\begin{aligned} \operatorname{LayerNorm}(x)_i &=\gamma_i\frac{x_i-\mu}{\sqrt{\sigma^2+\epsilon}}+\beta_i,\\ \operatorname{RMSNorm}(x)_i &=\gamma_i\frac{x_i}{\sqrt{\frac{1}{d}\sum_{j=1}^{d}x_j^2+\epsilon}}. \end{aligned}

其中 $\mu$ 和 $\sigma^2$ 沿隐藏维度计算， $\gamma$ 是可学习的缩放参数。RMSNorm 简化了计算，在不少语言模型中可以取得与 LayerNorm 接近的效果。

Norm 和 Softmax 的计算量不大，却要反复读取数据、计算统计量，再写出结果。它们往往慢在访存上。下面这组实验就能看出这种差别：

算子类型	FLOP 占比	运行时间占比
张量收缩（如矩阵乘法）	99.80%	61.0%
归一化	0.17%	25.5%
逐元素操作	0.03%	13.5%

归一化只占很少的 FLOP，却花掉了四分之一左右的时间。优化这类算子，重点是减少数据读写。

很多 LLM 也去掉了 FFN 等线性层的 Bias。这能简化结构，在一些模型实验中没有明显损失效果，还能改善训练稳定性。

2. FFN 与激活函数

2.1 GELU

GELU 定义为 $\operatorname{GELU}(x)=x\Phi(x)$ ，其中 $\Phi$ 是标准正态分布的累积分布函数。ReLU 会把负数直接置零，GELU 则让负输入平滑地衰减：接近零时仍有输出，向负无穷移动时逐渐趋近于零。整个函数连续可导。

2.2 门控：GLU、GeGLU 与 SwiGLU

门控 FFN 把输入分别乘以两组权重，再将结果逐元素相乘： $g(xW)\odot(xV)$ 。其中 $\odot$ 表示逐元素乘， $g$ 是激活函数。一条分支的输出会放大或减弱另一条分支的特征。

例如，普通 ReLU 分支输出为 $a=\max(0,xW)$ ，加入另一条分支 $v=xV$ 后，结果变成 $a\odot v$ 。若某个特征的 $a_j=2$ ，那么 $v_j=0.1$ 时输出为 $0.2$ ， $v_j=2$ 时输出为 $4$ 。这让特征的强弱能随输入调整； $v_j$ 也可以为负，因此它不是一个固定在 0 到 1 之间的开关。

变体	门控激活 $g$	中间表示
GLU	Sigmoid	$\sigma(xW)\odot(xV)$
ReGLU	ReLU	$\max(0,xW)\odot(xV)$
GeGLU	GELU	$\operatorname{GELU}(xW)\odot(xV)$
SwiGLU	Swish	$\operatorname{Swish}(xW)\odot(xV)$

这里采用 $\operatorname{Swish}(x)=x\sigma(x)$ 。相乘之后还需要输出投影 $W_o$ ，把中间维度映射回模型维度。

普通 FFN 有输入、输出两个矩阵，参数量约为 $2dd_{ff}$ ；门控 FFN 有三个矩阵，约为 $3dd_{ff}$ 。若普通 FFN 使用 $d_{ff}=4d$ ，要维持接近的参数量，就令：

3d\,d_{ff}^{\mathrm{gated}}=2d\cdot4d \quad\Rightarrow\quad d_{ff}^{\mathrm{gated}}=\frac{8}{3}d.

门控 FFN 的中间宽度因此取普通 FFN 的 $2/3$ ，约为 $2.67d$ 。实现时通常会取整，方便 GPU 计算。

2.3 Attention 与 MLP 并行

通常一个 Block 先算 Attention，再把结果送入 MLP。并行结构让两者处理同一份输入，最后把两路结果加回残差： $y=x+\operatorname{Attention}(\operatorname{Norm}(x))+\operatorname{MLP}(\operatorname{Norm}(x))$ 。两条分支没有前后依赖，可以共享 Norm，并把部分矩阵乘法合并执行；实际能加速多少取决于实现。

3. 位置编码与注意力结构

3.1 RoPE

RoPE 将 Q、K 各自的 $d_h$ 维向量拆成 $d_h/2$ 组二维向量，每组分别旋转。第 $m$ 个位置上的第 $i$ 组旋转 $m\theta_i$ ，其中 $i$ 从 0 开始，常用 $\theta_i=B^{-2i/d_h}$ ， $B$ 是频率基数。最初的 RoPE 取 $B=10000$ 。

例如 $d_h=8$ 时，共有 4 组二维向量，对应的 $\theta_i$ 分别为 $1$ 、 $0.1$ 、 $0.01$ 、 $0.001$ 。位置每向后移动一个 token，各组就分别多转这么多弧度。越靠后的维度组，频率越低，转得越慢。

同一个频率组内，两个位置旋转后的内积满足：

(R(m\theta_i)q_i)^T(R(n\theta_i)k_i) =q_i^TR((n-m)\theta_i)k_i.

Q、K 各自按所在位置旋转，内积中的旋转角度最终取决于两个位置的差 $n-m$ 。例如，we know 出现在位置 0、1，或出现在位置 2、3，位置差都是 1，因此这一对位置引入的相对旋转相同。

RoPE 沿用了正弦位置编码按维度设置不同频率的思路。正弦位置编码把 $\sin(m\theta_i)$ 、 $\cos(m\theta_i)$ 组成的向量加到词向量上；RoPE 则用它们构造旋转矩阵，直接旋转 Q/K，使内积带上相对位置。

不同频率的作用可以从旋转速度理解。高频组对一个 token 的位置变化就很敏感，适合区分“当前位置”“前一个位置”等关系；低频组在一段距离内转动很小，Q/K 的内容匹配较少被位置变化打乱，更适合保留语义关系。高频用于形成位置注意力，低频作为语义信息通道。

3.2 Attention 的计算量与 KV Cache

Attention 的开销可以分成两部分：做多少次计算，以及从显存读写多少数据。

Prefill

从输入到 Q、K、V

设一批有 $b$ 条序列，每条包含 $n$ 个 token，模型隐藏维度为 $d$ ，输入 $X$ 的 Shape 为 $[b,n,d]$ 。注意力有 $h$ 个头，按每头维度为 $d/h$ 的标准 MHA 计算。

输入分别乘三个投影矩阵，得到 $Q=XW_Q$ 、 $K=XW_K$ 、 $V=XW_V$ 。

以 Q 为例，计算量为 $O(bnd^2)$ 。K、V 各做一次同样的投影。多头注意力的结果拼接后，还要乘输出投影矩阵 $W_O$ 。按一次乘法和一次加法计 2 FLOP，这四次投影合计 $8bnd^2$ FLOP，忽略常数后为 $O(bnd^2)$ 。

token 之间的注意力计算

设每条序列有 $n$ 个 token，每个 token 的 $d$ 个特征分给 $h$ 个头，因此每个头的 Q、K、V 形状均为 $[n,d/h]$ 。

一个头先算 $QK^T$ ，矩阵形状为 $[n,d/h]\times[d/h,n]=[n,n]$ 。乘上 $h$ 个头和 $b$ 条序列，计算量为：

O\left(bh\cdot n^2\cdot\frac dh\right)=O(bn^2d).

分数经过 Softmax 得到注意力权重后，还要对 V 加权求和。每个头的矩阵形状为 $[n,n]\times[n,d/h]=[n,d/h]$ ，也是同样的计算量。因此， $QK^T$ 和对 V 加权求和合计约 $4bn^2d$ FLOP，量级为 $O(bn^2d)$ 。固定总维度 $d$ 时，头越多，每个头处理的特征越少，因此头数 $h$ 在计算量中约掉了。两类计算合起来，Attention 的主要计算量为 $O(bnd^2+bn^2d)$ ：前一项来自投影，后一项来自 token 之间的注意力计算。

数据量

朴素实现会显式保存每个头的分数矩阵，主要涉及三类数据：

数据	元素数量的计算过程	合计
Q、K、V	每个张量的 Shape 为 $[b,n,d]$ ，包含 $b\times n\times d$ 个元素；Q、K、V 共 3 份	$3bnd$
各头的 $QK^T$ 注意力分数	每条序列的每个头产生一个 $[n,n]$ 分数矩阵；一共 $b$ 条序列、每条 $h$ 个头，因此有 $b\times h\times n\times n$ 个元素	$bhn^2$
四个投影矩阵	$W_Q、W_K、W_V、W_O$ 各为 $[d,d]$ ，每个包含 $d\times d$ 个参数；共 4 个矩阵，由所有序列和 token 共享	$4d^2$

忽略常数后，数据规模合计为 $O(bnd+bhn^2+d^2)$ 。

Decode：KV Cache

假设已经处理完前 100 个 token，现在处理第 101 个。掩码注意力使旧 token 看不到后来新增的 token，因此前 100 个 token 的 K/V 不会随之改变。把这些结果保存下来，就是 KV Cache。

访存量：设 Batch Size 为 $b$ ，隐藏维度为 $d$ ，当前已有 $t$ 个历史 token。按标准 MHA 计算，每个 token 的 K、V 各有 $d$ 个元素。

数据	计算过程	元素数量
读取投影权重	$W_Q、W_K、W_V、W_O$ 各为 $[d,d]$ ，一批请求共用这 4 个矩阵	$4d^2$
读取历史 K/V	每条请求有 $t$ 个历史 token，每个 token 保存 K、V 两份 $d$ 维向量，共 $b$ 条请求	$2btd$
写入新 K/V	每条请求只计算新 token 的 Q/K/V，将其中 K、V 两份 $d$ 维向量追加到缓存	$2bd$

从前缀开始连续生成 $n$ 步，投影权重每步读取 $4d^2$ 个元素，累计为 $4nd^2$ ；历史 K/V 的读取量随长度增长，累计为 $2bd(1+2+\cdots+(n-1))$ ；新 K/V 每步写入 $2bd$ 个元素，累计为 $2bnd$ 。三项相加：

4nd^2+2bd\frac{n(n-1)}2+2bnd =4nd^2+bdn(n+1).

忽略常数及低阶项，生成 $n$ 步的主要累计访存量为 $O(nd^2+bn^2d)$ 。

计算量： $n$ 步投影累计为 $O(bnd^2)$ ；注意力计算随历史长度累加，为 $O(bd(1+2+\cdots+n))=O(bn^2d)$ 。因此累计计算量为 $O(bnd^2+bn^2d)$ 。

整段输入计算时，同一份权重可供 $bn$ 个 token 使用；逐 token 生成时，每步只有 $b$ 个新 token 使用权重，但每个新 Query 都要再读一遍历史 K/V。因此生成时的数据复用更少，计算密度下降。MQA、GQA 通过进一步减少 KV 头数，降低这部分缓存和读取量。

3.3 MHA、MQA、GQA 与 MLA

结构	K/V 的组织方式	对缓存的影响
MHA	每个 Q 头有对应的 K/V 头	保存完整的多头 KV
MQA	所有 Q 头共享一个 K/V 头	大幅减少 KV 头数
GQA	每组 Q 头共享一个 K/V 头	在 MHA 与 MQA 之间折中
MLA	将 KV 信息压到低维潜变量 $C$	缓存低维表示，结合投影完成注意力计算

MLA 缓存的是压缩后的表示。计算注意力时，可以将部分恢复投影合并到其他矩阵运算中，避免先展开全部历史 KV，再把它们重新存回显存。

以标准 MHA 为例，一层为 $b$ 个请求、每个请求 $t$ 个历史 token 保存 K/V，需要 $2bthd_h$ 个元素。MQA 把 KV 头数降为 1，变成 $2btd_h$ ；GQA 若使用 $g$ 个 KV 头，则是 $2btgd_h$ 。Q 仍然有 $h$ 个头，减少的是历史 KV 的存储和读取。

3.4 滑动窗口与全局注意力

滑动窗口注意力只读取当前 token 附近的一段历史，序列再长，也只计算窗口内的注意力。

例如，可以把三层带 RoPE 的滑动窗口注意力和一层 NoPE 全局注意力放在一组。NoPE 表示不额外加入显式位置编码。前三层只看附近的 token，减少计算；第四层再看完整的已知上下文，让距离较远的 token 也能交换信息。

4. 超参数与训练稳定性

4.1 宽度、深度和词表

普通 FFN 的中间维度通常取 $d_{ff}=4d$ 。门控 FFN 多一组投影，为保持参数量接近，中间宽度缩为普通 FFN 的 $2/3$ ，约为 $2.67d$ 。
注意力头数 $h$ 与每头维度 $d_h$ 通常满足 $hd_h=d$ ，即各头的总维度等于模型隐藏维度。部分模型会使用更大的 Attention 内部维度。
模型的宽深比为 $d/L$ ，其中 $d$ 是隐藏维度， $L$ 是层数。一般来说，模型宽深比为 128 时表现最好。此外，多卡并行计算时，张量并行拆维度，流水线并行拆层数，宽度和层数的选择还取决于卡间通信速度。
词表大小通常为单语言 30K～50K、多语言 100K～250K。

4.2 权重衰减与 Dropout

大规模预训练中，权重衰减的主要作用是改善优化过程、降低训练 Loss，而非防止过拟合。
由于预训练通常只遍历一个 Epoch，较少重复使用同一批样本，因此很多模型减小或去掉 Dropout。

4.3 z-loss 与 QK Norm

训练后期，部分模型会出现输出 Logit 数值过大的问题。z-loss 通过加入 $\lambda(\log\sum_i e^{z_i})^2$ 惩罚项，以约束 Logit 的数值尺度，提高训练稳定性。当各项 Logit 之间的差距增大时，Softmax 概率会更集中。
Q/K 范数持续增大会放大注意力分数，使 Softmax 越来越极端。QK Norm 在计算分数前对 Q/K 做归一化，可以控制它们的尺度，稳定注意力计算。

xxxxavierrr

兴趣是最好的老师。 —— 爱因斯坦

本文是原创文章，采用 CC BY-NC-ND 4.0 协议，完整转载请注明来自 xxxxavierrr

CS3363 LLM3

你可能还想看

CS336（二）：用 PyTorch 理解 LLM 的计算与训练

CS336（一）：Tokenizer 与 BPE

隐私政策

评论内容

0/500

昵称

邮箱

网址

滚动到此处加载评论...

雲自說

来自雲自說最新设计与科技的文章

查看全部

文章详情

互动

CS336（三）：现代 LLM 的基础架构

355318分钟2026-09-0510江苏苏州0

CS336（三）：现代 LLM 的基础架构

今天的大语言模型仍然建立在 Transformer 上，但真正落到模型结构里，Norm、激活函数、位置编码和 Attention 都已经和最初版本有了不少差别。

这些改动主要围绕三个问题：怎样让训练更稳定，怎样控制参数量，以及怎样减少推理时的计算和显存开销。

1. 归一化与残差路径

1.1 Pre-Norm

flowchart LR
    X[x] --> N[Norm]
    N --> F[Attention / FFN]
    F --> A[Add]
    X --> A
    A --> Y[output]

1.2 LayerNorm 与 RMSNorm

对一个有 $d$ 个元素的隐藏向量，LayerNorm 先减均值，再除以标准差；RMSNorm 保留尺度归一化，省掉去均值和可学习偏移项：

\begin{aligned} \operatorname{LayerNorm}(x)_i &=\gamma_i\frac{x_i-\mu}{\sqrt{\sigma^2+\epsilon}}+\beta_i,\\ \operatorname{RMSNorm}(x)_i &=\gamma_i\frac{x_i}{\sqrt{\frac{1}{d}\sum_{j=1}^{d}x_j^2+\epsilon}}. \end{aligned}

其中 $\mu$ 和 $\sigma^2$ 沿隐藏维度计算， $\gamma$ 是可学习的缩放参数。RMSNorm 简化了计算，在不少语言模型中可以取得与 LayerNorm 接近的效果。

Norm 和 Softmax 的计算量不大，却要反复读取数据、计算统计量，再写出结果。它们往往慢在访存上。下面这组实验就能看出这种差别：

算子类型	FLOP 占比	运行时间占比
张量收缩（如矩阵乘法）	99.80%	61.0%
归一化	0.17%	25.5%
逐元素操作	0.03%	13.5%

归一化只占很少的 FLOP，却花掉了四分之一左右的时间。优化这类算子，重点是减少数据读写。

很多 LLM 也去掉了 FFN 等线性层的 Bias。这能简化结构，在一些模型实验中没有明显损失效果，还能改善训练稳定性。

2. FFN 与激活函数

2.1 GELU

2.2 门控：GLU、GeGLU 与 SwiGLU

变体	门控激活 $g$	中间表示
GLU	Sigmoid	$\sigma(xW)\odot(xV)$
ReGLU	ReLU	$\max(0,xW)\odot(xV)$
GeGLU	GELU	$\operatorname{GELU}(xW)\odot(xV)$
SwiGLU	Swish	$\operatorname{Swish}(xW)\odot(xV)$

这里采用 $\operatorname{Swish}(x)=x\sigma(x)$ 。相乘之后还需要输出投影 $W_o$ ，把中间维度映射回模型维度。

普通 FFN 有输入、输出两个矩阵，参数量约为 $2dd_{ff}$ ；门控 FFN 有三个矩阵，约为 $3dd_{ff}$ 。若普通 FFN 使用 $d_{ff}=4d$ ，要维持接近的参数量，就令：

3d\,d_{ff}^{\mathrm{gated}}=2d\cdot4d \quad\Rightarrow\quad d_{ff}^{\mathrm{gated}}=\frac{8}{3}d.

门控 FFN 的中间宽度因此取普通 FFN 的 $2/3$ ，约为 $2.67d$ 。实现时通常会取整，方便 GPU 计算。

2.3 Attention 与 MLP 并行

3. 位置编码与注意力结构

3.1 RoPE

同一个频率组内，两个位置旋转后的内积满足：

(R(m\theta_i)q_i)^T(R(n\theta_i)k_i) =q_i^TR((n-m)\theta_i)k_i.

3.2 Attention 的计算量与 KV Cache

Attention 的开销可以分成两部分：做多少次计算，以及从显存读写多少数据。

Prefill

从输入到 Q、K、V

设一批有 $b$ 条序列，每条包含 $n$ 个 token，模型隐藏维度为 $d$ ，输入 $X$ 的 Shape 为 $[b,n,d]$ 。注意力有 $h$ 个头，按每头维度为 $d/h$ 的标准 MHA 计算。

输入分别乘三个投影矩阵，得到 $Q=XW_Q$ 、 $K=XW_K$ 、 $V=XW_V$ 。

token 之间的注意力计算

设每条序列有 $n$ 个 token，每个 token 的 $d$ 个特征分给 $h$ 个头，因此每个头的 Q、K、V 形状均为 $[n,d/h]$ 。

一个头先算 $QK^T$ ，矩阵形状为 $[n,d/h]\times[d/h,n]=[n,n]$ 。乘上 $h$ 个头和 $b$ 条序列，计算量为：

O\left(bh\cdot n^2\cdot\frac dh\right)=O(bn^2d).

数据量

朴素实现会显式保存每个头的分数矩阵，主要涉及三类数据：

数据	元素数量的计算过程	合计
Q、K、V	每个张量的 Shape 为 $[b,n,d]$ ，包含 $b\times n\times d$ 个元素；Q、K、V 共 3 份	$3bnd$
各头的 $QK^T$ 注意力分数	每条序列的每个头产生一个 $[n,n]$ 分数矩阵；一共 $b$ 条序列、每条 $h$ 个头，因此有 $b\times h\times n\times n$ 个元素	$bhn^2$
四个投影矩阵	$W_Q、W_K、W_V、W_O$ 各为 $[d,d]$ ，每个包含 $d\times d$ 个参数；共 4 个矩阵，由所有序列和 token 共享	$4d^2$

忽略常数后，数据规模合计为 $O(bnd+bhn^2+d^2)$ 。

Decode：KV Cache

访存量：设 Batch Size 为 $b$ ，隐藏维度为 $d$ ，当前已有 $t$ 个历史 token。按标准 MHA 计算，每个 token 的 K、V 各有 $d$ 个元素。

数据	计算过程	元素数量
读取投影权重	$W_Q、W_K、W_V、W_O$ 各为 $[d,d]$ ，一批请求共用这 4 个矩阵	$4d^2$
读取历史 K/V	每条请求有 $t$ 个历史 token，每个 token 保存 K、V 两份 $d$ 维向量，共 $b$ 条请求	$2btd$
写入新 K/V	每条请求只计算新 token 的 Q/K/V，将其中 K、V 两份 $d$ 维向量追加到缓存	$2bd$

4nd^2+2bd\frac{n(n-1)}2+2bnd =4nd^2+bdn(n+1).

忽略常数及低阶项，生成 $n$ 步的主要累计访存量为 $O(nd^2+bn^2d)$ 。

计算量： $n$ 步投影累计为 $O(bnd^2)$ ；注意力计算随历史长度累加，为 $O(bd(1+2+\cdots+n))=O(bn^2d)$ 。因此累计计算量为 $O(bnd^2+bn^2d)$ 。

3.3 MHA、MQA、GQA 与 MLA

结构	K/V 的组织方式	对缓存的影响
MHA	每个 Q 头有对应的 K/V 头	保存完整的多头 KV
MQA	所有 Q 头共享一个 K/V 头	大幅减少 KV 头数
GQA	每组 Q 头共享一个 K/V 头	在 MHA 与 MQA 之间折中
MLA	将 KV 信息压到低维潜变量 $C$	缓存低维表示，结合投影完成注意力计算

MLA 缓存的是压缩后的表示。计算注意力时，可以将部分恢复投影合并到其他矩阵运算中，避免先展开全部历史 KV，再把它们重新存回显存。

3.4 滑动窗口与全局注意力

滑动窗口注意力只读取当前 token 附近的一段历史，序列再长，也只计算窗口内的注意力。

4. 超参数与训练稳定性

4.1 宽度、深度和词表

普通 FFN 的中间维度通常取 $d_{ff}=4d$ 。门控 FFN 多一组投影，为保持参数量接近，中间宽度缩为普通 FFN 的 $2/3$ ，约为 $2.67d$ 。
注意力头数 $h$ 与每头维度 $d_h$ 通常满足 $hd_h=d$ ，即各头的总维度等于模型隐藏维度。部分模型会使用更大的 Attention 内部维度。
模型的宽深比为 $d/L$ ，其中 $d$ 是隐藏维度， $L$ 是层数。一般来说，模型宽深比为 128 时表现最好。此外，多卡并行计算时，张量并行拆维度，流水线并行拆层数，宽度和层数的选择还取决于卡间通信速度。
词表大小通常为单语言 30K～50K、多语言 100K～250K。

4.2 权重衰减与 Dropout

大规模预训练中，权重衰减的主要作用是改善优化过程、降低训练 Loss，而非防止过拟合。
由于预训练通常只遍历一个 Epoch，较少重复使用同一批样本，因此很多模型减小或去掉 Dropout。

4.3 z-loss 与 QK Norm

训练后期，部分模型会出现输出 Logit 数值过大的问题。z-loss 通过加入 $\lambda(\log\sum_i e^{z_i})^2$ 惩罚项，以约束 Logit 的数值尺度，提高训练稳定性。当各项 Logit 之间的差距增大时，Softmax 概率会更集中。
Q/K 范数持续增大会放大注意力分数，使 Softmax 越来越极端。QK Norm 在计算分数前对 Q/K 做归一化，可以控制它们的尺度，稳定注意力计算。

xxxxavierrr

兴趣是最好的老师。 —— 爱因斯坦

本文是原创文章，采用 CC BY-NC-ND 4.0 协议，完整转载请注明来自 xxxxavierrr

CS3363 LLM3

你可能还想看

CS336（二）：用 PyTorch 理解 LLM 的计算与训练

CS336（一）：Tokenizer 与 BPE

隐私政策

评论内容

0/500

昵称

邮箱

网址

滚动到此处加载评论...

雲自說

来自雲自說最新设计与科技的文章

查看全部