M5-122M5: NLP 与大语言模型推理时计算Hard
⚡闪卡盲测➔掌握度:
如何为推理时计算做成本-收益决策?
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
比较'增加推理算力'与'换更大模型'的边际收益;按难度分层、按任务类型选形式,并用 goodput 评估。
📌 核心要点提炼
- •比较边际收益:推理算力的 Δacc/Δcost vs 换模型的 Δacc/Δcost
- •按难度分层(简单少算、难题多算)
- •按任务类型选形式(验证/投票/长 CoT);用 goodput 评估
📐 数学机理与严密推导
数学机理:决策框架(三步)。第一步:明确目标与约束——(a) 质量目标(准确率下限);(b) 成本约束(每请求的成本/延迟上限);(c) 请求量(决定'持续成本'的权重)。第二步:比较边际收益——对每个可选方案计算'边际收益'Δacc/Δcost:(a) 方案 A:增加推理算力(更多采样/更长 CoT)——边际收益递减(见 1−(1−p)^N 的曲线);(b) 方案 B:换更大的模型——边际收益也递减(scaling law 的幂律);(c) 方案 C:更好的提示/工具/RAG——常是最高性价比(一次性优化、持续收益)。选择边际收益最高的方案。第三步:按难度与任务类型分配——(a) 按难度——简单问题用零算力(直答或小模型)、中等用中等算力(长 CoT)、难题用高算力(多采样 + 验证);这需要难度估计(可用模型自评、小分类器、或'试探性生成')。(b) 按任务类型——可验证 → best-of-N + 程序验证;可比较 → Self-Consistency;开放式 → 长 CoT / 多轮修正;知识型 → 检索/工具(而非加推理算力)。评估指标——(a) goodput(在质量/延迟 SLO 内的有效吞吐);(b) 成本-质量帕累托前沿(而非单点);(c) 每美元的正确率(经济性)。实践要点——(1) 先优化'免费'的部分——更好的 prompt、工具、RAG、约束解码(一次优化、持续收益);这些通常优于'加推理算力'。(2) 避免'对所有问题用最高算力'——成本会爆炸而收益递减。(3) 难度估计的实现——(a) 用一个小模型/分类器预测难度;(b) 让模型'先尝试简短回答,若不确定再加算力'(级联);(c) 用启发式(问题长度、类型)。(4) 级联(cascade)——先用廉价方案(小模型/少算力),只对'失败/不确定'的样本升级(用验证器或置信度触发);这是最经济的架构。(5) 测量而非假设——不同任务/模型的边际收益不同,需实测(A/B)。典型结论——(a) 对高频简单任务:小模型 + 零/少算力;(b) 对低频困难任务:大模型 + 多算力;(c) 对中等任务:级联(先便宜后升级)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '先优化免费的部分'是首要原则——更好的 prompt/工具/RAG 是一次性投入、持续收益;常优于'加推理算力'(后者每次请求都付费)。故应先做工程优化,再加算力。② '级联'是最经济的架构——用廉价方案处理大部分请求、只对困难样本升级;这比'对所有请求用高算力'便宜得多,且质量接近。③ '难度估计'是级联的前提——需要可靠地判断'这个问题难不难';可用 (a) 模型自评、(b) 小分类器、(c) 置信度/一致性(不确定则升级)。④ '边际收益递减'是普遍规律——无论加算力还是换模型,收益都递减;故应比较边际(而非总量)。⑤ '成本结构'决定选择——推理算力是持续成本(∝请求量),模型规模是一次性 + 持续;故高频服务更看重'每请求成本'(倾向小模型 + 少算力或级联)。⑥ 面试要点——被问'推理算力该加多少',应给出'三步框架(目标约束 → 比较边际收益 → 按难度/类型分配)+ goodput + 级联 + 先优化免费部分',并强调'边际收益递减、需实测';能指出'级联是最经济的架构'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕对所有问题用最高推理算力(成本爆炸)
- ✕不比较'换模型'与'加算力'的边际收益
🎯 面试官连环追问与延伸考察
- ?什么情况下'换更大模型'比'加推理算力'划算?
- ?如何估计问题的难度?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!