M6-093M6: 多模态与生成模型视频 / 3D / 音频Easy
⚡闪卡盲测➔掌握度:

解释视频生成中的时空注意力设计。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M6-094 →
📐 核心数学机理公式
full: O((THW)2);sep: O((HW)2T)+O(T2HW);window: local\text{full}:\ O((THW)^2);\qquad \text{sep}:\ O((HW)^2T)+O(T^2HW);\qquad \text{window}:\ \text{local}
⚡ 一句话直击要害答案
三种设计:全时空注意力(最贵)、时空分离(先空间后时间)、以及分块/窗口;需在质量与成本间权衡。

📌 核心要点提炼

  • •
    全时空:所有帧所有位置互相注意(最贵、最强)
  • •
    时空分离:先做空间注意力(每帧内)、再做时间注意力(跨帧同位置)
  • •
    分块/窗口:局部时空窗口(成本最低)

📐 数学机理与严密推导

数学机理:三种设计。(1) 全时空注意力(full spatio-temporal)——把所有帧的所有 patch 展平为一个长序列,做全局自注意力;复杂度 O((T·H·W)²);优点——最强(任意帧任意位置可交互);缺点——成本极高(T 稍大就不可行)。(2) 时空分离注意力(factorized / separated)——把注意力分解为两步:(a) 空间注意力——在每一帧内部做自注意力(所有帧并行):复杂度 O((HW)²·T);(b) 时间注意力——在同一空间位置跨帧做注意力:复杂度 O(T²·HW)。总复杂度 O((HW)²T+T²HW) ≪ O((THW)²)(因为 T 与 HW 是'相加'而非'相乘')。为什么时间注意力要'同位置'——因为'同一空间位置在不同帧'对应'同一个物体/区域'(如'第 3 帧的左上角'与'第 4 帧的左上角');这样时间注意力建模'该位置如何随时间变化'(运动),而空间注意力建模'该帧内的空间关系'。优点——成本大幅降低、且符合'空间与时间可分离'的先验;缺点——无法建模'跨帧的跨位置'关系(如'第 3 帧左上角的物体移动到第 5 帧右下角'——这在分离注意力中需两步传递)。(3) 分块/窗口注意力——(a) 时空窗口(如 3D 窗口,只在局部时空块内注意);(b) 分块生成(把视频切成片段,各自生成 + 拼接);(c) 稀疏注意力(只对部分帧/位置)。优点——成本最低;缺点——长程依赖受限。其他设计——(a) 混合(部分层用全时空、部分用分离);(b) 层次化(先在低分辨率做全时空、再高分辨率做分离);(c) 隐式运动建模(用光流或运动 token 辅助);(d) 参考帧机制(长视频用关键帧作为参考,避免全局注意力)。代表实现——(a) AnimateDiff——在图像扩散模型的注意力层间插入时间注意力层(只训时间层);(b) Sora——用时空 patch 的 DiT(架构细节未完全公开);(c) CogVideoX / Open-Sora——用时空分离或 3D 注意力;(d) Wan / HunyuanVideo——3D VAE + DiT。选择依据——(a) 短视频、质量优先 → 全时空或混合;(b) 中等长度 → 时空分离(主流);(c) 长视频 → 分块 + 参考帧 + 稀疏注意力。评估——(a) 时间一致性(光流/帧间特征);(b) 成本(延迟/显存);(c) 长程一致性(长视频的全局一致)。实践建议——(a) 时空分离是主流折中;(b) 3D VAE 压缩时间维(降低 T 的有效值);(c) 长视频用分块 + 参考帧。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '时空分离把乘法变加法'是关键——复杂度从 (THW)² 降到 (HW)²T+T²HW;面试中能给出这一复杂度对比是深度理解的标志。② '时间注意力在同位置'符合'运动'的直觉——同位置跨帧对应'同一物体的时间演化'。③ '分离的局限是跨帧跨位置'——需要多步传递(削弱长程时空依赖);故有混合/层次化设计。④ '插入时间注意力层'是低成本的微调方案(AnimateDiff)——复用图像模型 + 只训时间层;这大幅降低训练成本。⑤ '3D VAE 压缩时间维'是必要的——否则 T 太大(成本爆炸);故视频生成普遍用时空 VAE。⑥ 面试要点——被问'视频的注意力怎么设计',应给出'全时空(最贵最强)/ 时空分离(主流折中,乘法变加法)/ 分块窗口(最省)'与'时间注意力在同位置、跨帧跨位置需多步传递';能给出复杂度对比是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    用全时空注意力处理长视频(成本爆炸)
  • ✕
    忽略时间注意力'同位置'的设计动机
🎯 面试官连环追问与延伸考察
  • ?
    时空分离为什么能省这么多?
  • ?
    时间注意力为什么要'同位置'?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M6-092: 解释视频生成相对图像生成的主要挑战。📋 返回题库下一题 →M6-094: 解释 NeRF 与 3D Gaussian Splatting 的差异。