← 复习路线图

👁️ 多模态 思维导图

37 个知识点 · 点击节点弹出结构化卡片

同色 = 同一指南主题。悬停节点点亮依赖链,支持搜索与拖拽缩放。右上角可导出 PNG 或全屏查看。

CLIP 双塔架构VLM 架构与投影VLM 能力与训练扩散核心原理扩散生成应用ε/v-pred 与 Zero-SNR音频表示JEPA 联合嵌入预测LLM 底座(跨模块)具身智能(跨模块)多模态 RAG(跨模块)CLIP 双塔架构CLIP 双塔架构点击查看定义和考点InfoNCE 对比损失InfoNCE 对比损失点击查看定义和考点CLIP 应用CLIP 应用点击查看定义和考点VLM 架构VLM 架构点击查看定义和考点视觉编码器视觉编码器点击查看定义和考点VLM 投影器 MLP/Q-FormerVLM 投影器 MLP/Q-Former点击查看定义和考点AnyRes 切块/动态 TokenAnyRes 切块/动态 Token点击查看定义和考点Native 同构多模态Native 同构多模态点击查看定义和考点图文交错训练图文交错训练点击查看定义和考点VLM 能力图谱VLM 能力图谱点击查看定义和考点多模态推理与 Agent多模态推理与 Agent点击查看定义和考点多模态幻觉多模态幻觉点击查看定义和考点多模态评测基准多模态评测基准点击查看定义和考点VLM 三阶段训练VLM 三阶段训练点击查看定义和考点Masked Cross-EntropyMasked Cross-Entropy点击查看定义和考点Multimodal DPO/RLHF-VMultimodal DPO/RLHF-V点击查看定义和考点DDPM 前向/反向DDPM 前向/反向点击查看定义和考点Classifier-Free GuidanceClassifier-Free Guidance点击查看定义和考点潜空间扩散 LDM潜空间扩散 LDM点击查看定义和考点扩散 vs GAN vs 自回归扩散 vs GAN vs 自回归点击查看定义和考点采样加速 DDIM/LCM采样加速 DDIM/LCM点击查看定义和考点视频生成视频生成点击查看定义和考点DiT/3D Causal VAEDiT/3D Causal VAE点击查看定义和考点视频渐进训练/分桶视频渐进训练/分桶点击查看定义和考点ε/v-pred 与 Zero-SNRε/v-pred 与 Zero-SNR点击查看定义和考点音频表示音频表示点击查看定义和考点语音识别 ASR语音识别 ASR点击查看定义和考点语音合成 TTS语音合成 TTS点击查看定义和考点语音 LLM语音 LLM点击查看定义和考点RVQ 与语义/听觉 TokenRVQ 与语义/听觉 Token点击查看定义和考点JEPA 联合嵌入预测JEPA 联合嵌入预测点击查看定义和考点世界模型应用世界模型应用点击查看定义和考点LLM 底座(跨模块)LLM 底座(跨模块)点击查看定义和考点具身智能(跨模块)具身智能(跨模块)点击查看定义和考点VLA 具身大模型(跨模块)VLA 具身大模型(跨模块)点击查看定义和考点多模态 RAG(跨模块)多模态 RAG(跨模块)点击查看定义和考点ColPali Late-InteractionColPali Late-Interaction点击查看定义和考点
100%
🖱️ 可拖拽平移画布 · 悬停点亮知识依赖链 · 点击打开知识卡
CLIP 双塔架构VLM 架构DDPM 前向/反向音频表示JEPA 联合嵌入预测LLM 底座(跨模块)具身智能(跨模块)多模态 RAG(跨模块)