QLoRA

量化低秩适配（Quantized Low-Rank Adaptation，QLoRA）在 LoRA 基础上，将冻结的底座模型权重压缩为 4 位精度（如 NF4 数据类型），并通过双重量化与分页优化器进一步削减显存峰值，使得在单张消费级 GPU 上微调百亿参数大模型成为可能。训练时梯度反向传播仍以高精度（FP16/BF16）更新 LoRA 适配层。