混合专家
2 条- 01循环混合专家模型的缩放定律
首次联合建模循环计算与MoE稀疏性,提出Loop Scaling Laws,统一刻画参数、数据与计算深度关系。
- 02打破均匀性陷阱:通过SplitMoE扩展视频扩散模型
提出SplitMoE架构,解耦时空与语义路由,突破视频生成中传统MoE的均匀性限制,提升长尾语义建模能力。
首次联合建模循环计算与MoE稀疏性,提出Loop Scaling Laws,统一刻画参数、数据与计算深度关系。
提出SplitMoE架构,解耦时空与语义路由,突破视频生成中传统MoE的均匀性限制,提升长尾语义建模能力。