- Before LoRA: Measuring the Intrinsic Dimension
通过 random subspace training，理解完成一个任务所需的 degrees of freedom 为什么可能远低于模型参数量。
9 min read - Before LoRA 2: Sparse Projection, Fastfood, and SAID
从 dense Gaussian projection 的存储问题出发，理解 Sparse projection、Fastfood 和 SAID。
10 min read - LoRA: Low-Rank Adaptation
从 LoRA 的 low-rank update 出发，理解 rank 约束、训练与推理实现，以及它和 intrinsic dimension 的关系。
12 min read
LoRA
从 intrinsic dimension 和高效随机投影出发，理解 LoRA 的 low-rank parameterization、训练与推理实现。
Total posts: 3
Oldest first
Newest first