M8-019M8: 系统架构、MLOps 与工程实战数据管道与数据工程Easy
⚡闪卡盲测➔掌握度:

解释批处理与流处理的差异与选型

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M8-020 →
📐 核心数学机理公式
batch: window=hours/days;stream: window=seconds\text{batch}:\ \text{window}=\text{hours/days};\qquad \text{stream}:\ \text{window}=\text{seconds}
⚡ 一句话直击要害答案
批处理(高吞吐、高延迟、可重跑)vs 流处理(低延迟、逐条、状态管理复杂);按'延迟需求'选。

📌 核心要点提炼

  • •
    批处理:定时调度、全量/增量、高吞吐、可重跑
  • •
    流处理:持续消费、逐条/微批、低延迟、状态管理
  • •
    选型:延迟需求(秒级 vs 小时级)+ 复杂度 + 成本

📐 数学机理与严密推导

数学机理:批处理与流处理——(1) 批处理(batch)——(a) 模式——定时调度(小时/天),处理有界数据(一个时间窗的数据);(b) 优点——(i) 高吞吐(可用全部资源处理大批数据);(ii) 可重跑(数据是有界的,可重算);(iii) 简单(无状态管理);(iv) 成本低(按需启动);(c) 缺点——(i) 延迟高(小时/天级);(ii) 无法处理'实时'需求。(2) 流处理(stream)——(a) 模式——持续消费无界数据流,逐条(或微批)处理;(b) 优点——(i) 低延迟(秒/亚秒级);(ii) 适合'实时'需求(风控/推荐/监控);(c) 缺点——(i) 状态管理复杂(窗口状态、去重状态);(ii) 乱序与迟到数据(需 watermark 机制);(iii) 精确一次语义难(需 checkpoint + 两阶段提交);(iv) 运维复杂(常驻服务);(v) 成本高(常驻资源)。(3) 选型依据——(a) 延迟需求——(i) 秒级 → 流处理;(ii) 小时/天级 → 批处理;(b) 数据量——(i) 海量 → 批处理(吞吐优势);(ii) 中等 → 流处理;(c) 复杂度容忍——(i) 简单优先 → 批处理;(d) 成本——(i) 常驻成本 vs 按需成本;(e) 一致性要求——(i) 精确一次 → 流处理需专门设计。(4) 关键技术(流处理)——(a) 窗口(window)——(i) 滚动窗口(不重叠);(ii) 滑动窗口(重叠);(iii) 会话窗口(按活动间隔);(b) Watermark——处理'乱序与迟到数据'('水印'表示'该时间点之前的数据应该都到了');(c) 状态存储(RocksDB/内存——支持大状态);(d) Checkpoint(容错——定期快照状态);(e) 精确一次(端到端——需 sink 支持事务);(f) 背压(backpressure)(消费慢于生产时的处理)。(5) 流批一体——(a) Lambda 架构——批处理层(准确)+ 速度层(低延迟)+ 服务层(合并);缺点——两套代码(逻辑重复);(b) Kappa 架构——只用流处理(重放历史数据代替批处理);优点——一套代码;缺点——历史重放成本高;(c) 流批一体引擎(Flink/Spark Structured Streaming)——同一套 API 处理批与流。(6) 中间形态——(a) 微批(micro-batch)(Spark Streaming——秒级延迟,简单);(b) 近线(nearline)(分钟级——用批处理框架跑高频任务)。实践建议——(a) 延迟需求决定(秒级→流、小时级→批);(b) 流处理注意状态/乱序/精确一次;(c) 优先'流批一体'(避免两套代码);(d) 不要为了'实时'而过度设计(很多场景分钟级足够)。度量——(a) 端到端延迟;(b) 吞吐;(c) 状态大小;(d) 成本。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '延迟需求决定选型'——很多场景'分钟级'足够,不必上流处理;面试中能指出'不要过度设计'是深度理解的标志。② '流处理的状态管理'是主要复杂度——窗口状态/去重状态/checkpoint。③ '乱序与迟到数据'需 watermark——这是流处理的核心难点。④ 'Lambda 的两套代码'是痛点——故有 Kappa 与流批一体。⑤ '微批是实用折中'——秒级延迟 + 简单实现(Spark Streaming)。⑥ 面试要点——被问'批处理还是流处理',应给出'对比(延迟/吞吐/复杂度/成本)+ 选型依据(延迟需求)+ 流处理关键技术(窗口/watermark/状态/checkpoint/精确一次)+ 流批一体';能指出'不要过度设计'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    为'分钟级'需求上流处理(过度设计)
  • ✕
    流处理忽略乱序与迟到数据
🎯 面试官连环追问与延伸考察
  • ?
    什么场景必须用流处理?
  • ?
    流处理的'状态管理'难在哪?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M8-018: 描述一个典型离线数据管道📋 返回题库下一题 →M8-020: 解释数据质量监控的维度与手段