GAT 注意力

GAT(Graph Attention Network, Veličković et al. 2018)用注意力给每个邻居分配可学习权重。先对节点做线性变换 $Wh_i$, 拼接后经共享注意力向量打分: $e_{ij} = \mathrm{LeakyReLU}(a^T[Wh_i \Vert Wh_j])$(其中 $\Vert$ 表示拼接, $a$ 为可学习向量), 再对邻居做 softmax 归一化得到注意力系数 $\alpha_{ij} = \frac{\exp(e_{ij})}{\sum_{k \in \mathcal{N}(i)} \exp(e_{ik})}$, 聚合为 $h_i' = \sigma(\sum_{j \in \mathcal{N}(i)} \alpha_{ij} Wh_j)$。多头注意力: 用 $K$ 组独立的 $W^k, a^k$ 并行计算, 中间层拼接 $h_i' = \Vert_{k=1}^{K} \sigma(\sum_{j \in \mathcal{N}(i)} \alpha_{ij}^k W^k h_j)$(输出维度变为 $K$ 倍), 最后一层取平均 $h_i' = \sigma(\frac{1}{K}\sum_{k=1}^{K} \sum_{j \in \mathcal{N}(i)} \alpha_{ij}^k W^k h_j)$ 以稳定训练。相比 GCN 的固定系数(仅由度决定), GAT 的系数是数据驱动的, 可在不同邻居间分配不同的重要性。

邻居异质性强的图(社交网络影响力差异、引文重要度差异)、动态图与节点数可变场景; 面试对比题: GAT vs GCN、GAT vs Transformer 自注意力、多头机制的处理方式。

GCN 的聚合权重 $\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2}$ 是纯结构决定的常数, 表达能力受限且对图的度分布敏感。GAT 用 LeakyReLU 注意力 + 邻域 softmax 让权重随输入特征动态变化——同度邻居也能被区分(结构上不可分的节点对可被区分), 近似于把 Transformer 自注意力约束到邻域子图($\mathcal{N}(i)$ 代替全局 $L$ 位置), 兼具归纳能力与更强的拟合表达; 多头机制类似 Transformer 多头的多视角稳定作用。

检验攻克程度：针对「GAT 注意力」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。