分布式训练
2 条- 01CHARM+:跨硬件注意力与重合并多流机制
针对Ring-Attention在跨NUMA/节点架构中通信瓶颈问题,提出重合并多流机制提升GPU利用率与扩展性
- 02FSDP通信的终局:面向复制引擎、RDMA与NVSwitch的布局感知集合通信
分析FSDP2中张量布局转换与通信开销瓶颈,提出布局感知集体通信优化方案,降低训练步耗时。
针对Ring-Attention在跨NUMA/节点架构中通信瓶颈问题,提出重合并多流机制提升GPU利用率与扩展性
分析FSDP2中张量布局转换与通信开销瓶颈,提出布局感知集体通信优化方案,降低训练步耗时。