Tags: #neural-network

从零初始化和小随机数出发，通过激活分布理解 Xavier 与 Kaiming 初始化。

从统计维度、训练推理行为和应用场景理解 BatchNorm 与 LayerNorm 的区别。