LoRA/QLoRA 低秩适配

LoRA (Low-Rank Adaptation, 低秩适配) 是一种参数高效微调方法:冻结预训练权重 $W$,只训练低秩增量 $\Delta W = BA$,其中 $A \in \mathbb{R}^{d \times r}$、$B \in \mathbb{R}^{r \times d}$,秩 $r \ll d$。训练时前向计算 $h = Wx + BAx$,推理时可合并回 $W' = W + BA$ 零额外开销。

在消费级显存上微调大模型(7B-70B)、多任务多适配器部署(共享底座 + 热插拔 LoRA)、快速迭代实验;QLoRA 进一步把底座量化到 4-bit,单卡即可微调 65B。

全量微调 70B 需要约 4×80GB A100;LoRA 只训练约 0.1% 参数,优化器状态与梯度显存降一个数量级,且多个适配器可在同一底座上热插拔,部署成本大幅下降。

检验攻克程度：针对「LoRA/QLoRA 低秩适配」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。