软提示 P-Tuning/Adapter

软提示与适配器是冻结主干、只训练少量附加参数的 PEFT 路线: 1) Prefix-Tuning——在每层注意力前拼接可学习的 prefix 键值向量, 参数量约 0.1%-2%; 2) P-Tuning(v2)——在输入嵌入(或每层输入)前加可学习连续向量 prompt, 用 MLP/LSTM 重参数化提升训练稳定性; 3) Adapter——在 Transformer 子层(Attention/FFN 后)插入瓶颈结构: 先降维 $d \to r$ 再升维 $r \to d$, 内部含非线性激活与残差连接。三者与 LoRA(冻结 $W$、训练低秩增量 $\Delta W = BA$, 秩 r=8 时参数降约两个数量级)并列为四大主流 PEFT 方法。

多任务多租户部署(一个底座热插拔多组 soft prompt/adapter)、显存受限的微调、快速迭代实验。

全量微调参数与存储开销过大。三者在'参数效率'与'效果'间权衡: Prefix/P-Tuning 修改注意力输入, 更接近提示语义但训练稳定性略差;Adapter 以残差保证初始化近似恒等、效果最接近全量微调; soft prompt 参数量通常低于 LoRA(约 0.1% vs LoRA r=8 时约 0.1%)但性能上限略低,且多组附加参数可在同一底座共存——服务端只需额外存储千分之一量级的参数量, 即可为每个任务/租户提供独立适配。

Prefix-Tuning 与 P-Tuning 的区别?

Adapter 的瓶颈结构为什么有效(残差 + 非线性)?

Soft Prompt 与 LoRA 的对比与选型?

为什么冻结主干只训附加参数? 收益与风险?

多任务部署: 多组 soft prompt/adapter 如何共存?