GAT 注意力

GAT(Graph Attention Network, Veličković et al. 2018)用注意力给每个邻居分配可学习权重。先对节点做线性变换 $Wh_i$, 拼接后经共享注意力向量打分: $e_{ij} = \mathrm{LeakyReLU}(a^T[Wh_i \Vert Wh_j])$(其中 $\Vert$ 表示拼接, $a$ 为可学习向量), 再对邻居做 softmax 归一化得到注意力系数 $\alpha_{ij} = \frac{\exp(e_{ij})}{\sum_{k \in \mathcal{N}(i)} \exp(e_{ik})}$, 聚合为 $h_i' = \sigma(\sum_{j \in \mathcal{N}(i)} \alpha_{ij} Wh_j)$。多头注意力: 用 $K$ 组独立的 $W^k, a^k$ 并行计算, 中间层拼接 $h_i' = \Vert_{k=1}^{K} \sigma(\sum_{j \in \mathcal{N}(i)} \alpha_{ij}^k W^k h_j)$(输出维度变为 $K$ 倍), 最后一层取平均 $h_i' = \sigma(\frac{1}{K}\sum_{k=1}^{K} \sum_{j \in \mathcal{N}(i)} \alpha_{ij}^k W^k h_j)$ 以稳定训练。相比 GCN 的固定系数(仅由度决定), GAT 的系数是数据驱动的, 可在不同邻居间分配不同的重要性。

邻居异质性强的图(社交网络影响力差异、引文重要度差异)、动态图与节点数可变场景; 面试对比题: GAT vs GCN、GAT vs Transformer 自注意力、多头机制的处理方式。

GCN 的聚合权重 $\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2}$ 是纯结构决定的常数, 表达能力受限且对图的度分布敏感。GAT 用 LeakyReLU 注意力 + 邻域 softmax 让权重随输入特征动态变化——同度邻居也能被区分(结构上不可分的节点对可被区分), 近似于把 Transformer 自注意力约束到邻域子图($\mathcal{N}(i)$ 代替全局 $L$ 位置), 兼具归纳能力与更强的拟合表达; 多头机制类似 Transformer 多头的多视角稳定作用。

默写 GAT 注意力系数公式 $\alpha_{ij} = \frac{\exp(\mathrm{LeakyReLU}(a^T[Wh_i \Vert Wh_j]))}{\sum_{k \in \mathcal{N}(i)} \exp(\mathrm{LeakyReLU}(a^T[Wh_i \Vert Wh_k]))}$ 并解释 $\Vert$ 拼接、LeakyReLU 与 softmax 各自的作用。

GAT vs GCN 的核心区别: GCN 的系数是结构固定的(由度决定), GAT 为什么能区分同度邻居(结构不可分但语义不同的节点对)?

多头注意力的两种处理: 中间层为什么拼接、输出层为什么平均? 多头与单头在训练稳定性与表达能力上的差异。

为什么注意力系数只对邻居 $\mathcal{N}(i)$ 做 softmax 归一化而不是对全图? 与 Transformer 全局 softmax 的对比(复杂度与局部性)。

GAT 与 Transformer 自注意力的异同: 查询/键/值在哪里、图结构如何通过 mask 融入、二者何时可以互相转换?