M4-091M4: Sequences & TransformersGraph Neural Networks (GNN / GAT)Hard
Mastery:

Graph Neural Networks (GNN / GAT): 解释异构图与关系图卷积(R-GCN)。

📐 Mathematical Definition
hv(l+1)=σ ⁣(W0hv(l)+∑r∑u∈Nr(v)1cv,rWrhu(l))h_v^{(l+1)}=\sigma\!\left(W_0h_v^{(l)}+\sum_{r}\sum_{u\in\mathcal{N}_r(v)}\frac{1}{c_{v,r}}W_r h_u^{(l)}\right)
⚡ Executive Summary
Core Concept: 异构图有多种节点/边类型;R-GCN 为每种关系用独立权重矩阵,参数随关系数增长,用基分解/块对角降参。

📌 Key Takeaways

  • •
    异构图:节点/边有类型(用户-物品-类别-品牌)
  • •
    R-GCN:每种关系 r 一个权重矩阵 W_r
  • •
    参数量 ∝ 关系数 → 用基分解或块对角正则降参

📐 Mathematical Derivations

数学机理:<strong>同构 vs 异构图</strong>——同构图假设所有节点与边<strong>同质</strong>(同一类型);但现实图常是<strong>异质</strong>的(知识图谱有多种实体与关系;推荐系统有用户/物品/类别/品牌;学术图有作者/论文/机构/会议)。在异构图上直接用同构 GNN 会把不同类型的信息混在一起(如把'作者-论文'与'论文-会议'的关系同等对待),丢失语义。<strong>R-GCN(Schlichtkrull 等 2018)</strong> 的解法:为<strong>每种关系 r</strong> 使用<strong>独立的权重矩阵 W_r</strong>:h_v^{(l+1)}=σ(W_0h_v^{(l)}+Σ_r Σ_{u∈N_r(v)} (1/c_{v,r})W_r h_u^{(l)}),其中 N_r(v) 是通过关系 r 连接的邻居、c_{v,r} 是归一化常数、W_0 是自连接权重。<strong>问题</strong>——参数量 ∝ <strong>关系数 × d²</strong>;知识图谱常有数百到数千种关系,故参数量爆炸且每种关系的训练样本稀疏(易过拟合)。<strong>降参方案</strong>:(a) <strong>基分解(basis decomposition)</strong>——把 W_r 表示为<strong>少量基矩阵的线性组合</strong>:W_r=Σ_{b=1}^{B} a_{rb}V_b,其中 V_b 是共享的基(B 个)、a_{rb} 是每种关系的系数;参数量从 R·d² 降到 B·d² + R·B(B≪R);(b) <strong>块对角分解</strong>——把 W_r 限制为块对角矩阵(减少每关系的参数);(c) <strong>共享 + 特定</strong>——部分权重共享、部分关系特定。<strong>实体分类/链接预测</strong>——R-GCN 主要用于 (a) 实体分类(给知识图谱的实体打标签)、(b) 链接预测(补全缺失的边,用编码器-解码器框架,解码器如 DistMult/ComplEx)。<strong>与知识图谱嵌入的关系</strong>——R-GCN 是'GNN 式'的 KG 方法(利用局部邻域结构),与'嵌入式'(TransE、RotatE、ComplEx,直接学习实体/关系的向量)互补;前者能利用节点特征、后者更轻量。

🏭 Production Trade-offs

深度剖析与工程权衡:① <strong>'关系特定权重'是异构建模的核心</strong>——它让不同关系有不同的信息传播方式(如'作者-论文'与'论文-引用'的传播应不同);这与'类型化的注意力'(如 HAN 的元路径注意力)是同一目标的不同实现。② <strong>基分解的直觉</strong>——它假设'不同关系的变换可由少量共享模式组合而成'(类似低秩假设);这与 LoRA 的低秩思想相通(都是'用少量共享参数表达多任务')。③ <strong>异构图在工业中的应用</strong>——推荐系统(用户-物品-类别-品牌-价格区间)、风控(用户-设备-IP-银行卡)、知识图谱(实体-关系);这些场景中'关系类型'是关键语义,故异构 GNN(或带关系类型的注意力)是标配。④ <strong>元路径(meta-path)方法</strong>——除 R-GCN 外,另一主流是'元路径'(如 HAN):先定义有语义的路径模式(作者-论文-作者),再沿路径做聚合;优点是语义清晰、可解释,缺点是需要人工设计元路径。⑤ <strong>与 LLM 的结合</strong>——近年有'用 LLM 处理图/知识图谱'的方向(把图结构转为文本、或用 LLM 做图推理);但 LLM 对精确图结构(拓扑、路径)的处理仍弱于专门的 GNN,故'GNN + LLM'的混合是活跃方向。⑥ <strong>面试要点</strong>——被问'异构 GNN',应给出'<strong>每种关系一个权重矩阵(R-GCN)+ 参数量 ∝ 关系数 → 基分解/块对角降参</strong>',并说明'与元路径方法(HAN)的对比'与'工业场景(推荐/风控/KG)';能联系到'LoRA 的低秩思想'是深度理解的标志。
⚠️ Common Interview Pitfalls
  • ✕
    在异构图上用同构 GNN(丢失关系语义)
  • ✕
    忽略关系数增长导致的参数爆炸
🎯 Interviewer Follow-ups
  • ?
    异构图为什么不能直接用同构 GNN?
  • ?
    基分解(basis decomposition)如何降参?
📚

Associated Knowledge Base Guides & Mindmaps

Explore the comprehensive technical article, exam cards, and global architecture tree.

← PreviousM4-090: Graph Neural Networks (GNN / GAT): 解释 GNN 在大规模图上的训练策略。📋Back to BankNext →M4-092: Graph Neural Networks (GNN / GAT): 解释图神经网络与 Transformer 的关系。