LoRA

低秩适配（Low-Rank Adaptation，LoRA）是一种参数高效微调（PEFT）技术。它冻结预训练模型的全部骨干权重，仅在注意力投影或全连接层旁路引入两个低秩可训练矩阵（A 与 B，满足 rank ≪ d），大幅降低训练显存占用与优化器状态开销。LoRA 允许在单套底座模型上针对不同业务场景热插拔多个轻量适配器。