LoRA/QLoRA 显存与权重合并

LoRA/QLoRA 参数高效微调机制、显存预算剖析与 Adapter 全生命周期管理 (LoRA/QLoRA PEFT Mechanics, VRAM Accounting & Adapter Lifecycle) 是 AIE 以极低单卡成本（如一张消费级 RTX 4090 或 A10G 显卡）微调 7B~70B 大模型并实现零推理延迟上线的核心技术；核心机制：1) LoRA (低秩适应): 冻结原始庞大权重 $W_0 \in \mathbb{R}^{d \times k}$，引入低秩矩阵分解 $\Delta W = \frac{\alpha}{r} (B \cdot A)$（其中 $A \sim \mathcal{N}(0, \sigma^2), B=0$ 保证初始增量为 0，Rank $r \ll d$），仅微调 $<1\%$ 参数量，将梯度与优化器状态显存暴削 80% 以上；2) QLoRA (量化低秩微调): 将冻结的基础模型通过 NF4 (NormalFloat4) 量化为 4-bit 存储，配合双重量化 (Double Quantization) 与分页优化器 (Paged Optimizers)，单卡 24GB 显存即可微调 70B 模型；3) Adapter 动态合并与热插拔：训练完毕后将权重合并 $W_{\text{final}} = W_0 + \frac{\alpha}{r} BA$ 输出单体权重实现零推理延迟，或在服务层通过 S-LoRA / Punica 实现多租户多任务 Adapter 动态热切换。

垂直行业大模型低成本定制微调、单 GPU 部署多租户多任务 Adapter、在线热更新微调权重。

全量参数微调 (Full Fine-Tuning) 对 70B 模型需要 8 张 A100/H100 显卡且显存开销巨大（动辄 600GB+ 显存）；LoRA/QLoRA 在保留 99% 全参数微调性能的前提下将显存削减 80%，并彻底消除线上 Serving 的多重适配器开销。

推导 LoRA 的前向更新公式 $h = W_0 x + \frac{\alpha}{r} B A x$，并解释为什么矩阵 $A$ 采用高斯初始化而矩阵 $B$ 初始化为全 0？

超参数 Rank $r$（通常选 8, 16, 64）与缩放因子 $\alpha$ (Alpha，通常设为 $2r$) 的物理意义与调参权衡？

Target Modules 选择策略：仅微调注意力层 ($W_q, W_k, W_v$) vs 微调全线性层 ($W_q, W_k, W_v, W_o, \text{gate}, \text{up}, \text{down}$) 的泛化收益对比？

QLoRA 中 NF4 (NormalFloat4) 数据类型相比标准 INT4 为什么能从信息论角度更完美适配正态分布的神经网络权重？

在生产环境部署时，如何使用 HuggingFace PEFT 的 `merge_and_unload()` 将 LoRA 权重直接合并写入基础模型以消除在线推理延迟？