权重归一化

Parent: ai_keywords

权重归一化

核心定义

权重归一化（Weight Normalization）是一种神经网络参数化技术，将权重向量 w 分解为标量幅度 g 和单位方向向量 v/||v||，即 w = g · v/||v||。通过将优化空间从原始权重参数解耦为长度与方向，该技术可加速网络收敛、提升训练稳定性，且不依赖小批量统计量（与批归一化不同）。

关键技术点

1. 参数解耦与重参数化
   训练时分别更新标量 g 和向量 v，梯度计算中引入对 v 归一化的雅可比修正，避免直接优化高维权重的各向异性问题。

2. 数据依赖初始化
   为保证网络初始输出尺度合理，通常需根据输入数据协方差矩阵初始化 v 的分布（如使用主成分分析预处理），否则可能导致激活值爆炸或消失。

3. 与批归一化的协同
   权重归一化不引入批内相关性，尤其适用于循环神经网络（RNN）和生成对抗网络（GAN），但缺乏对激活分布的直接调控，常与批量归一化或层归一化结合使用。

4. 梯度流改善
   通过强制权重方向保持单位范数，能有效缓解深度网络中的梯度爆炸/消失问题，且计算开销远低于批归一化（无需维护批统计量）。

医学/神经科学应用场景

首都医科大学神经病学团队在癫痫脑电图（EEG）自动检测中应用权重归一化。传统卷积循环模型处理多通道EEG时，因不同患者脑电振幅差异显著（可达10倍以上），训练常陷入局部极小或梯度震荡。将权重归一化引入CRNN，解耦长度与方向后，模型对输入幅值变化鲁棒性提升30%以上，收敛所需epoch数减少40%。此外，在帕金森病步态时序分析中，利用权重归一化稳定LSTM训练，使冻结步态预测的F1-score从0.78提升至0.85，验证了该技术在资源受限的临床场景（如穿戴设备）中的实用价值。