AI星际引擎AI STARSHIP
2026.11.08 星期日
第 94 期
主题 · 模型预训练

模型预训练

1 条
  1. 01
    MuonGS:采用松弛权重范数控制预训练大语言模型

    提出基于累积有效学习率的权重范数分析法,揭示预训练中范数控制对优化稳定性的关键作用。