高效训练
2 条- 01Split-KV:面向扩散起草器训练的高效上下文并行化方法
为加速扩散起草器(diffusion drafters)训练,提出Split-KV机制实现长上下文下的块稀疏交叉注意力优化
- 02FADE:面向在线RLVR调度的能力-难度解耦过滤方法
提出FADE方法解耦模型能力与题目难度,动态筛选高信息量提示,避免无效rollout消耗生成预算。
为加速扩散起草器(diffusion drafters)训练,提出Split-KV机制实现长上下文下的块稀疏交叉注意力优化
提出FADE方法解耦模型能力与题目难度,动态筛选高信息量提示,避免无效rollout消耗生成预算。