大模型训练
3 条- 01
- 02CHARM+:跨硬件注意力与重合并多流机制
针对Ring-Attention在跨NUMA/节点架构中通信瓶颈问题,提出重合并多流机制提升GPU利用率与扩展性
- 03预训练数据规模逆转Muon-AdamW微调性能差距
发现当预训练数据量足够大时,AdamW在下游任务微调中反超Muon优化器,且该拐点随模型增大而前移。
针对Ring-Attention在跨NUMA/节点架构中通信瓶颈问题,提出重合并多流机制提升GPU利用率与扩展性
发现当预训练数据量足够大时,AdamW在下游任务微调中反超Muon优化器,且该拐点随模型增大而前移。