04. 基础模型与模型资产
构建与沉淀大模型时代最核心的通用智能资产:稠密/MoE 架构、长上下文、多模态媒体生成与开放模型权重生态。
4.1 大语言模型与推理架构
Transformer 核心架构演进、RoPE 旋转位置编码与长上下文扩展、MoE 稀疏门控路由、DeepSeek MLA 潜在低秩注意力与长思维链 (CoT) 推理模型。
通用 Transformer 架构演进与长上下文技术
Dense Transformer 经典演进、KV 缓存压缩机制 (MHA/GQA/MQA)、RoPE 旋转位置编码与长上下文外推 (YaRN/ALiBi)、RMSNorm 归一化、SwiGLU 激活函数与 BPE/SentencePiece 词表 Tokenizer 设计。
MoE 稀疏路由与 MLA 低显存推理架构
Top-K 专家门控路由 (Sparse Gating)、专家无辅助损失动态均衡 (Auxiliary-loss Free Balancing)、DeepSeek MLA 潜在多头注意力 (低秩投影视角压缩 KV) 与复杂长思维链 (CoT) 强化推理架构。
4.2 多模态、生成式媒介与语音大模型
Vision-Language (CLIP/LLaVA/Qwen-VL)、Cross-Attention 模态适配投影、Diffusion Transformer (DiT) 视频生成与端到端全双工实时语音交互大模型。
视觉语言大模型 (VLM) 与跨模态对齐
ViT 视觉编码器 (SigLIP/CLIP)、Cross-Attention / Perceiver 跨模态特征投影 (Projector)、视觉指令理解 (LLaVA/Qwen-VL)、高分辨率动态 Patch 分块与多模态评测基准 (MMBench)。
Diffusion / DiT 视频生成与原生端到端语音架构
Diffusion Transformer (DiT 架构)、Flow Matching 连续流匹配、时空 3D VAE 压缩、端到端全双工实时语音大模型 (Audio Codec / Native Speech-to-Speech) 与生成媒介安全水印。
4.3 开放模型资产、检查点与许可生态
开源权重仓库 (Hugging Face / ModelScope)、SafeTensors 安全序列化、LoRA/QLoRA 适配器权重、Model Card 标准元数据与开源协议合规治理。
开源权重仓库、SafeTensors 与轻量适配器资产
Hugging Face Model Hub 与 ModelScope 开源分发、SafeTensors 零拷贝安全内存映射存储、LoRA / QLoRA 轻量微调权重资产管理与通用 Embedding / Reranker 资产发布。
模型资产规范、开源协议合规与安全扫描
Model Card 标准元数据 (训练上下文/限制/评估报告)、开源协议合规治理 (Apache 2.0 / MIT / Llama Community License 商业使用限制)、SHA256 哈希校验与 Pickle 漏洞安全扫描。