AI星际引擎AI STARSHIP
2026.11.08 星期日
第 94 期
主题 · 模型训练动力学

模型训练动力学

1 条
  1. 01
    混合专家模型中Softmax路由动力学:坍缩与恢复

    揭示MoE中Softmax路由概率坍缩机制,证明其由静态损失壁垒驱动,并给出专家输出可训练下的恢复条件。