Tags: #parameter-efficient-training

从 LoRA 的 low-rank update 出发，理解 rank 约束、训练与推理实现，以及它和 intrinsic dimension 的关系。

从 dense Gaussian projection 的存储问题出发，理解 Sparse projection、Fastfood 和 SAID。