LoRA/QLoRA 显存与权重合并

LoRA/QLoRA 参数高效微调机制、显存预算剖析与 Adapter 全生命周期管理 (LoRA/QLoRA PEFT Mechanics, VRAM Accounting & Adapter Lifecycle) 是 AIE 以极低单卡成本（如一张消费级 RTX 4090 或 A10G 显卡）微调 7B~70B 大模型并实现零推理延迟上线的核心技术；核心机制：1) LoRA (低秩适应): 冻结原始庞大权重 $W_0 \in \mathbb{R}^{d \times k}$，引入低秩矩阵分解 $\Delta W = \frac{\alpha}{r} (B \cdot A)$（其中 $A \sim \mathcal{N}(0, \sigma^2), B=0$ 保证初始增量为 0，Rank $r \ll d$），仅微调 $<1\%$ 参数量，将梯度与优化器状态显存暴削 80% 以上；2) QLoRA (量化低秩微调): 将冻结的基础模型通过 NF4 (NormalFloat4) 量化为 4-bit 存储，配合双重量化 (Double Quantization) 与分页优化器 (Paged Optimizers)，单卡 24GB 显存即可微调 70B 模型；3) Adapter 动态合并与热插拔：训练完毕后将权重合并 $W_{\text{final}} = W_0 + \frac{\alpha}{r} BA$ 输出单体权重实现零推理延迟，或在服务层通过 S-LoRA / Punica 实现多租户多任务 Adapter 动态热切换。

垂直行业大模型低成本定制微调、单 GPU 部署多租户多任务 Adapter、在线热更新微调权重。

全量参数微调 (Full Fine-Tuning) 对 70B 模型需要 8 张 A100/H100 显卡且显存开销巨大（动辄 600GB+ 显存）；LoRA/QLoRA 在保留 99% 全参数微调性能的前提下将显存削减 80%，并彻底消除线上 Serving 的多重适配器开销。

检验攻克程度：针对「LoRA/QLoRA 显存与权重合并」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。