- Recurrent Neural Networks: 用隐藏状态处理序列
从隐藏状态、参数共享和时间展开出发，理解 Vanilla RNN 怎样处理序列，以及它为什么难以学习长期依赖。
7 min read - Transformer - 从 Additive Attention 到 Multi-Head Attention
从 Bahdanau Attention 出发，推导缩放点积注意力、多头机制以及 padding 和 causal mask。
17 min read - LoRA的学习率 LoRA+: Efficient Low Rank Adaptation
从 LoRA 两个 low-rank matrix 的不对称训练出发，理解 LoRA+ 为什么为 A 和 B 设置不同的学习率。
9 min read - LoRA的秩与容量 AdaLoRA: Adaptive Budget Allocation
从 LoRA 的固定 rank 出发，理解 AdaLoRA 如何拆分 rank-1 component、估计重要性并动态分配 rank。
18 min read - LoRA的显存成本 QLoRA: Efficient Finetuning of Quantized LLMs
从 LoRA 仍需保存完整基础模型的问题出发，理解 QLoRA 的 NF4、Double Quantization 与 Paged Optimizers。
7 min read - LoRA: Low-Rank Adaptation
从 LoRA 的 low-rank update 出发，理解 rank 约束、训练与推理实现，以及它和 intrinsic dimension 的关系。
13 min read - Before LoRA 2: Sparse Projection, Fastfood, and SAID
从 dense Gaussian projection 的存储问题出发，理解 Sparse projection、Fastfood 和 SAID。
11 min read - Before LoRA: Measuring the Intrinsic Dimension
通过 random subspace training，理解完成一个任务所需的 degrees of freedom 为什么可能远低于模型参数量。
9 min read - Transformer - Transformer Decoder
实现 masked self-attention、cross-attention、前馈网络，并组合完整 Encoder-Decoder 模型。
6 min read - 深度学习中的权重初始化
从零初始化和小随机数出发，通过激活分布理解 Xavier 与 Kaiming 初始化。
6 min read - Transformer - Transformer Encoder
拆解 Pre-LN Encoder Block、自注意力、前馈网络、残差连接与多层堆叠。
5 min read - Transformer - Transformer 的输入嵌入与位置编码
解释 Token Embedding、正弦余弦位置编码及其 PyTorch 实现与张量形状。
5 min read - Batch Normalization 与 Layer Normalization
从统计维度、训练推理行为和应用场景理解 BatchNorm 与 LayerNorm 的区别。
4 min read - TrainingSkills6 min read
- Autoencoder2 min read
第 1 页，当前显示 15 篇，共 18 篇文章 按年份查看全部文章 →