Tags: #intrinsic-dimension

通过 random subspace training，理解完成一个任务所需的 degrees of freedom 为什么可能远低于模型参数量。

从 dense Gaussian projection 的存储问题出发，理解 Sparse projection、Fastfood 和 SAID。