推测解码
2 条- 01Split-KV:面向扩散起草器训练的高效上下文并行化方法
为加速扩散起草器(diffusion drafters)训练,提出Split-KV机制实现长上下文下的块稀疏交叉注意力优化
- 02对抗性推测推理提升长视野智能体性能
发现推测解码在长程智能体任务中不仅是加速手段,其对抗性验证机制可抑制推理链中累积错误。
为加速扩散起草器(diffusion drafters)训练,提出Split-KV机制实现长上下文下的块稀疏交叉注意力优化
发现推测解码在长程智能体任务中不仅是加速手段,其对抗性验证机制可抑制推理链中累积错误。