研究

第 2 页，当前显示 3 篇，共 18 篇文章按年份查看全部文章 →

Nov 16, 2024

DenoisingAutoencoder

1 min read
- archived
Apr 6, 2024

Lagrangian Optimization

2 min read
- archived
Apr 6, 2024

SVM

1 min read
- archived

12

合集

LoRA 6

从 intrinsic dimension 和高效随机投影出发，理解 LoRA、AdaLoRA、QLoRA 与 LoRA+ 的 low-rank parameterization、rank allocation、量化和学习率。
机器学习基础 2

神经网络训练中的初始化、归一化与其他基础概念。
Transformer 原理与实现 4

从注意力机制与输入表示到 Encoder、Decoder 的完整实现。

标签

rnn
recurrent-neural-network
sequence-modeling
deep-learning
attention
transformer
lora-plus
lora
optimization
parameter-efficient-training
adalora
adaptive-rank
qlora
quantization
low-rank-update
intrinsic-dimension
random-subspace
fastfood
decoder
pytorch
initialization
neural-network
encoder
embedding
positional-encoding
normalization
archived

查看全部 →

© 2026 Suheng · 站点政策 Astro theme powered