AI星际引擎AI STARSHIP
2026.11.08 星期日
第 94 期
主题 · 优化理论

优化理论

3 条
  1. 01
    大步长对抗训练:隐式偏差、优化与尖锐度

    首次系统分析大常数步长下对抗训练的梯度下降动力学,揭示其隐式偏差与泛化-鲁棒性权衡机制

    arxiv.org·arXiv·3天前对抗训练优化理论鲁棒性
  2. 02
    截断式随时间反向传播引发双向梯度转捩点性质

    理论分析揭示截断BPTT在RNN训练中导致前向状态扰动与后向梯度缺失的双重边界效应,并提出解耦优化区间新机制

  3. 03
    MuonGS:采用松弛权重范数控制预训练大语言模型

    提出基于累积有效学习率的权重范数分析法,揭示预训练中范数控制对优化稳定性的关键作用。