⬅ AI 全产业总图/Layer 04 · 04. 基础模型与模型资产
4.2

4.2 多模态、生成式媒介与语音大模型

Vision-Language (CLIP/LLaVA/Qwen-VL)、Cross-Attention 模态适配投影、Diffusion Transformer (DiT) 视频生成与端到端全双工实时语音交互大模型。

视觉语言大模型 (VLM) 与跨模态对齐

ViT 视觉编码器 (SigLIP/CLIP)、Cross-Attention / Perceiver 跨模态特征投影 (Projector)、视觉指令理解 (LLaVA/Qwen-VL)、高分辨率动态 Patch 分块与多模态评测基准 (MMBench)。

🏢 标杆代表企业
OpenAI (GPT-4o)、Google DeepMind (Gemini)、Meta AI、Qwen (Qwen-VL)
🛠️ 核心技术栈
VLMLLaVACLIPSigLIPMultimodal ProjectorQwen-VLDynamic Patching
💼 典型岗位与薪资
Multimodal Engineer、Computer Vision Engineer、Research Scientist
💰 $240K - $520K / 年 (多模态视觉研发) | ¥70W - ¥190W / 年
📚 先决掌握技能:Vision Transformer (ViT) 架构与 Patch 嵌入 • 对比学习 (Contrastive Learning) 损失推导 • 多模态 Projection 层结构与图文对齐 • 多模态基准评测数据集与指标体系

Diffusion / DiT 视频生成与原生端到端语音架构

Diffusion Transformer (DiT 架构)、Flow Matching 连续流匹配、时空 3D VAE 压缩、端到端全双工实时语音大模型 (Audio Codec / Native Speech-to-Speech) 与生成媒介安全水印。

🏢 标杆代表企业
Midjourney、Runway、Kling (快手)、Pika、ElevenLabs、Suno
🛠️ 核心技术栈
DiTDiffusionFlow MatchingVideo GenerationAudio CodecNative Speech LLMMidjourney
💼 典型岗位与薪资
Generative Media Researcher、Computer Vision Engineer、Speech Engineer
💰 $250K - $540K / 年 (视频/语音生成式 AI) | ¥75W - ¥200W / 年
📚 先决掌握技能:扩散模型 (DDPM / DDIM) 数学公式推导 • Flow Matching 与连续流 ODE 采样机制 • 3D Causal VAE 时空下采样与解耦 • Neural Audio Codec 离散表征与全双工交互