MoE
2 条- 01通过交错并发请求加速基于专家卸载的MoE推理
针对MoE模型本地推理中专家卸载导致的GPU等待问题,提出交错请求调度机制,避免低效预取并提升带宽利用率。
- 02专家展现结构化冗余:面向MoE大语言模型的保结构专家剪枝
发现MoE层专家输出存在稳定秩与有效熵秩远低于专家数的结构化冗余,据此提出保结构剪枝方法降低部署内存开销。
针对MoE模型本地推理中专家卸载导致的GPU等待问题,提出交错请求调度机制,避免低效预取并提升带宽利用率。
发现MoE层专家输出存在稳定秩与有效熵秩远低于专家数的结构化冗余,据此提出保结构剪枝方法降低部署内存开销。