注意力机制
2 条- 01排斥性自注意力的非平衡相:混沌、注意力凝聚与涌现局域性
理论分析极简循环Transformer中负值映射引发的非平衡动力学,发现混沌、注意力凝聚及几何局域性等新相变现象。
- 02SAS:通过端到端优化上下文排序实现简单注意力稀疏化
提出 SAS 方法,以可微分上下文排序替代硬 Top-K 选择,提升后训练注意力稀疏化效果
理论分析极简循环Transformer中负值映射引发的非平衡动力学,发现混沌、注意力凝聚及几何局域性等新相变现象。
提出 SAS 方法,以可微分上下文排序替代硬 Top-K 选择,提升后训练注意力稀疏化效果