AI星际引擎AI STARSHIP
2026.11.08 星期日
第 94 期
主题 · 大模型训练

大模型训练

3 条
  1. 01
  2. 02
    CHARM+:跨硬件注意力与重合并多流机制

    针对Ring-Attention在跨NUMA/节点架构中通信瓶颈问题,提出重合并多流机制提升GPU利用率与扩展性

  3. 03
    预训练数据规模逆转Muon-AdamW微调性能差距

    发现当预训练数据量足够大时,AdamW在下游任务微调中反超Muon优化器,且该拐点随模型增大而前移。