← 复习路线图

⚡ 大语言模型 思维导图

48 个知识点 · 点击节点弹出结构化卡片

同色 = 同一指南主题。悬停节点点亮依赖链,支持搜索与拖拽缩放。右上角可导出 PNG 或全屏查看。

预训练数据工程分词 BPE/WordPiece推测解码(跨模块)Attention 与 KV 演进架构组件指令微调 SFTRLHF 三阶段量化 PTQ/QATMoE 路由 Top-k思维链 CoT幻觉类型与成因Agent 与工具调用(跨模块)自动指标 vs LLM-Judge上下文工程(跨模块)预训练数据工程预训练数据工程点击查看定义和考点训练目标与优化器细节训练目标与优化器细节点击查看定义和考点长上下文评测 Needle/Lost-in-Middle长上下文评测 Needle/Lost-in-Middle点击查看定义和考点评测基准 MMLU/GSM8K评测基准 MMLU/GSM8K点击查看定义和考点缩放定律缩放定律点击查看定义和考点模型家族与演进模型家族与演进点击查看定义和考点长上下文扩展长上下文扩展点击查看定义和考点分词 BPE/WordPiece分词 BPE/WordPiece点击查看定义和考点文本嵌入 Embeddings文本嵌入 Embeddings点击查看定义和考点Padding/PackingPadding/Packing点击查看定义和考点解码策略解码策略点击查看定义和考点推测解码(跨模块)推测解码(跨模块)点击查看定义和考点KV Cache 管理(跨模块)KV Cache 管理(跨模块)点击查看定义和考点缩放点积注意力缩放点积注意力点击查看定义和考点注意力变体 MHA/MQA/GQA注意力变体 MHA/MQA/GQA点击查看定义和考点MLA 低秩 KV 压缩MLA 低秩 KV 压缩点击查看定义和考点FlashAttentionFlashAttention点击查看定义和考点SSM/线性注意力混合SSM/线性注意力混合点击查看定义和考点位置编码 RoPE/ALiBi位置编码 RoPE/ALiBi点击查看定义和考点RoPE 外推 PI/NTK/YaRNRoPE 外推 PI/NTK/YaRN点击查看定义和考点前馈层与激活前馈层与激活点击查看定义和考点归一化 Pre-LN/RMSNorm归一化 Pre-LN/RMSNorm点击查看定义和考点指令微调 SFT指令微调 SFT点击查看定义和考点LoRA/QLoRA 低秩适配LoRA/QLoRA 低秩适配点击查看定义和考点软提示 P-Tuning/Adapter软提示 P-Tuning/Adapter点击查看定义和考点RLHF 三阶段RLHF 三阶段点击查看定义和考点PPO 截断损失PPO 截断损失点击查看定义和考点DPO 直接偏好优化DPO 直接偏好优化点击查看定义和考点无参考对齐 SimPO/ORPO/KTO无参考对齐 SimPO/ORPO/KTO点击查看定义和考点GRPO 相对策略优化GRPO 相对策略优化点击查看定义和考点对齐税与偏好数据对齐税与偏好数据点击查看定义和考点量化 PTQ/QAT量化 PTQ/QAT点击查看定义和考点低比特 INT8/INT4低比特 INT8/INT4点击查看定义和考点激活异常值处理与 FP8激活异常值处理与 FP8点击查看定义和考点知识蒸馏知识蒸馏点击查看定义和考点MoE 路由 Top-kMoE 路由 Top-k点击查看定义和考点负载均衡损失负载均衡损失点击查看定义和考点Dense vs MoE 对比Dense vs MoE 对比点击查看定义和考点思维链 CoT思维链 CoT点击查看定义和考点推理时扩展推理时扩展点击查看定义和考点MCTS 推理期搜索MCTS 推理期搜索点击查看定义和考点过程奖励与 RLVR(跨模块)过程奖励与 RLVR(跨模块)点击查看定义和考点幻觉类型与成因幻觉类型与成因点击查看定义和考点幻觉缓解幻觉缓解点击查看定义和考点Agent 与工具调用(跨模块)Agent 与工具调用(跨模块)点击查看定义和考点自动指标 vs LLM-Judge自动指标 vs LLM-Judge点击查看定义和考点经典 NLP 任务经典 NLP 任务点击查看定义和考点上下文工程(跨模块)上下文工程(跨模块)点击查看定义和考点
100%
🖱️ 可拖拽平移画布 · 悬停点亮知识依赖链 · 点击打开知识卡
预训练数据工程分词 BPE/WordPiece推测解码(跨模块)KV Cache 管理(跨模块)缩放点积注意力指令微调 SFTRLHF 三阶段量化 PTQ/QATMoE 路由 Top-k思维链 CoT幻觉类型与成因Agent 与工具调用(跨模块)自动指标 vs LLM-Judge上下文工程(跨模块)