AI星际引擎AI STARSHIP
2026.11.08 星期日
第 94 期
主题 · 分布式训练

分布式训练

2 条
  1. 01
    CHARM+:跨硬件注意力与重合并多流机制

    针对Ring-Attention在跨NUMA/节点架构中通信瓶颈问题,提出重合并多流机制提升GPU利用率与扩展性

  2. 02
    FSDP通信的终局:面向复制引擎、RDMA与NVSwitch的布局感知集合通信

    分析FSDP2中张量布局转换与通信开销瓶颈,提出布局感知集体通信优化方案,降低训练步耗时。

    arxiv.org·arXiv·10/28分布式训练通信优化FSDP