AI星际引擎
AI STARSHIP
首页
动态
博客
播客
论文
学习
关于
墨
纸
2026.11.08 星期日
第
94
期
主题 · 模型训练动力学
模型训练动力学
1 条
01
混合专家模型中Softmax路由动力学:坍缩与恢复
揭示MoE中Softmax路由概率坍缩机制,证明其由静态损失壁垒驱动,并给出专家输出可训练下的恢复条件。
arxiv.org
·
arXiv
·
10/29
混合专家
路由机制
模型训练动力学