Attention Is All You Need (Transformer 架构拆解)

核心创新点：自注意力机制 (Self-Attention)

论文中最核心的公式就是 Scaled Dot-Product Attention：

这里，Q (Query), K (Key), V (Value) 均由输入通过不同的权重矩阵线性变换得到。除以 $\sqrt{d_k}$ 是为了防止点积结果过大导致 Softmax 梯度消失。

Multi-Head Attention

为了让模型能够从不同表示子空间获取信息，论文提出了多头注意力：

每一头都有自己独立的权重矩阵。

总结

Transformer 通过并行化计算彻底取代了自回归的 RNN 结构，不仅大幅提升了训练速度，同时也打破了长距离序列依赖的问题，开启了 LLM 时代。