⚡ 大语言模型ID: model-families

模型家族与演进

Q: LLaMA-3 与 Qwen 在分词、位置编码上的差异?

【模型家族与演进 核心考点 1】LLaMA-3 与 Qwen 在分词、位置编码上的差异?。技术解析：定义: 主流开源模型家族在架构细节与训练配方上各有取舍: LLaMA——BPE 分词、词表 32K(LLaMA-3 扩到 128K)、SwiGLU+RMSNorm+RoPE, 70B 起用 GQA, LLaMA-3 训练 15.6T tokens;Qwen——词表 152K(中文 token 效率高, 约 1.2 字/token)、Tie Embedding、GQA 标配, 用 YARN 支持长上下文;DeepSeek-V3——总参 671B / 激活 37B 的 MoE 架构、MLA 低秩 KV 压缩、词表 128K, 训练 14.8T tokens。... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/model-families

Q: DeepSeek-V3 的 MoE + MLA 配置是什么?

【模型家族与演进 核心考点 2】DeepSeek-V3 的 MoE + MLA 配置是什么?。技术解析：定义: 主流开源模型家族在架构细节与训练配方上各有取舍: LLaMA——BPE 分词、词表 32K(LLaMA-3 扩到 128K)、SwiGLU+RMSNorm+RoPE, 70B 起用 GQA, LLaMA-3 训练 15.6T tokens;Qwen——词表 152K(中文 token 效率高, 约 1.2 字/token)、Tie Embedding、GQA 标配, 用 YARN 支持长上下文;DeepSeek-V3——总参 671B / 激活 37B 的 MoE 架构、MLA 低秩 KV 压缩、词表 128K, 训练 14.8T tokens。... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/model-families

Q: 词表大小如何影响中文 token 效率与推理成本?

【模型家族与演进 核心考点 3】词表大小如何影响中文 token 效率与推理成本?。技术解析：定义: 主流开源模型家族在架构细节与训练配方上各有取舍: LLaMA——BPE 分词、词表 32K(LLaMA-3 扩到 128K)、SwiGLU+RMSNorm+RoPE, 70B 起用 GQA, LLaMA-3 训练 15.6T tokens;Qwen——词表 152K(中文 token 效率高, 约 1.2 字/token)、Tie Embedding、GQA 标配, 用 YARN 支持长上下文;DeepSeek-V3——总参 671B / 激活 37B 的 MoE 架构、MLA 低秩 KV 压缩、词表 128K, 训练 14.8T tokens。... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/model-families

Q: 训练 token 规模从 1.4T 涨到 15.6T 说明什么趋势?

【模型家族与演进 核心考点 4】训练 token 规模从 1.4T 涨到 15.6T 说明什么趋势?。技术解析：定义: 主流开源模型家族在架构细节与训练配方上各有取舍: LLaMA——BPE 分词、词表 32K(LLaMA-3 扩到 128K)、SwiGLU+RMSNorm+RoPE, 70B 起用 GQA, LLaMA-3 训练 15.6T tokens;Qwen——词表 152K(中文 token 效率高, 约 1.2 字/token)、Tie Embedding、GQA 标配, 用 YARN 支持长上下文;DeepSeek-V3——总参 671B / 激活 37B 的 MoE 架构、MLA 低秩 KV 压缩、词表 128K, 训练 14.8T tokens。... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/model-families

Q: 各家族如何支持长上下文(YARN / 位置编码改造)?

【模型家族与演进 核心考点 5】各家族如何支持长上下文(YARN / 位置编码改造)?。技术解析：定义: 主流开源模型家族在架构细节与训练配方上各有取舍: LLaMA——BPE 分词、词表 32K(LLaMA-3 扩到 128K)、SwiGLU+RMSNorm+RoPE, 70B 起用 GQA, LLaMA-3 训练 15.6T tokens;Qwen——词表 152K(中文 token 效率高, 约 1.2 字/token)、Tie Embedding、GQA 标配, 用 YARN 支持长上下文;DeepSeek-V3——总参 671B / 激活 37B 的 MoE 架构、MLA 低秩 KV 压缩、词表 128K, 训练 14.8T tokens。... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/model-families

Model Families & Evolution

🎯核心定义

主流开源模型家族在架构细节与训练配方上各有取舍: LLaMA——BPE 分词、词表 32K(LLaMA-3 扩到 128K)、SwiGLU+RMSNorm+RoPE, 70B 起用 GQA, LLaMA-3 训练 15.6T tokens;Qwen——词表 152K(中文 token 效率高, 约 1.2 字/token)、Tie Embedding、GQA 标配, 用 YARN 支持长上下文;DeepSeek-V3——总参 671B / 激活 37B 的 MoE 架构、MLA 低秩 KV 压缩、词表 128K, 训练 14.8T tokens。整体趋势: 训练 token 数激增、词表扩大、MoE 与长上下文成为标配。

💡使用场景

模型选型、面试横向对比、理解大模型技术演进趋势。

⚡解决的核心痛点

把'模型'从黑盒变成可对比的工程决策——中文场景选 Qwen(词表与中文数据占比高, 中文 token 成本低),代码/推理场景选 DeepSeek(MoE 671B 总参每 token 仅激活 37B, 同算力更大容量), 通用英文生态选 LLaMA(生态完善、资料多);同时理解 tokenizer 直接决定成本与速度: 词表越大单 token 信息密度越高, 但嵌入与 softmax 参数开销也越大。

🎯核心面试考点体系 (Exam Points)

基础原理 · 工业场景 · 深入排雷

基础·定义

请阐明【模型家族与演进】的本质定义、底层数学/架构运作机制与关键原理。

基础·场景

在实际工业生产体系中，【模型家族与演进】适用于哪些典型场景？解决了什么核心工程痛点？

🔥 高频进阶实战考点 (Top 5 Deep-Dive Questions)

LLaMA-3 与 Qwen 在分词、位置编码上的差异?

DeepSeek-V3 的 MoE + MLA 配置是什么?

词表大小如何影响中文 token 效率与推理成本?

训练 token 规模从 1.4T 涨到 15.6T 说明什么趋势?

各家族如何支持长上下文(YARN / 位置编码改造)?

📖 关联深度指南:📄 llm-foundations-and-sota →

更新于 2026-08-12

🎯

检验攻克程度：针对「模型家族与演进」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。

🚀 开始本考点专项刷题 ➔

← 上一个知识点缩放定律下一个知识点 →长上下文扩展

模型家族与演进

🔗 更多 大语言模型 知识点卡片

🔗 更多大语言模型知识点卡片