- LoRA的学习率 LoRA+: Efficient Low Rank Adaptation
从 LoRA 两个 low-rank matrix 的不对称训练出发，理解 LoRA+ 为什么为 A 和 B 设置不同的学习率。
9 min read - LoRA的秩与容量 AdaLoRA: Adaptive Budget Allocation
从 LoRA 的固定 rank 出发，理解 AdaLoRA 如何拆分 rank-1 component、估计重要性并动态分配 rank。
18 min read - LoRA的显存成本 QLoRA: Efficient Finetuning of Quantized LLMs
从 LoRA 仍需保存完整基础模型的问题出发，理解 QLoRA 的 NF4、Double Quantization 与 Paged Optimizers。
7 min read - LoRA: Low-Rank Adaptation
从 LoRA 的 low-rank update 出发，理解 rank 约束、训练与推理实现，以及它和 intrinsic dimension 的关系。
13 min read