AI星际引擎AI STARSHIP
2026.11.08 星期日
第 94 期
主题 · MoE

MoE

2 条
  1. 01
    通过交错并发请求加速基于专家卸载的MoE推理

    针对MoE模型本地推理中专家卸载导致的GPU等待问题,提出交错请求调度机制,避免低效预取并提升带宽利用率。

    arxiv.org·arXiv·5天前MoE推理优化边缘计算
  2. 02
    专家展现结构化冗余:面向MoE大语言模型的保结构专家剪枝

    发现MoE层专家输出存在稳定秩与有效熵秩远低于专家数的结构化冗余,据此提出保结构剪枝方法降低部署内存开销。

    arxiv.org·arXiv·10/30MoE模型压缩大语言模型