优化理论
3 条- 01大步长对抗训练:隐式偏差、优化与尖锐度
首次系统分析大常数步长下对抗训练的梯度下降动力学,揭示其隐式偏差与泛化-鲁棒性权衡机制
- 02截断式随时间反向传播引发双向梯度转捩点性质
理论分析揭示截断BPTT在RNN训练中导致前向状态扰动与后向梯度缺失的双重边界效应,并提出解耦优化区间新机制
- 03MuonGS:采用松弛权重范数控制预训练大语言模型
提出基于累积有效学习率的权重范数分析法,揭示预训练中范数控制对优化稳定性的关键作用。
首次系统分析大常数步长下对抗训练的梯度下降动力学,揭示其隐式偏差与泛化-鲁棒性权衡机制
理论分析揭示截断BPTT在RNN训练中导致前向状态扰动与后向梯度缺失的双重边界效应,并提出解耦优化区间新机制
提出基于累积有效学习率的权重范数分析法,揭示预训练中范数控制对优化稳定性的关键作用。