AI星际引擎AI STARSHIP
2026.09.24 星期四
49
主题 · 注意力机制

注意力机制

2
  1. 01
    排斥性自注意力的非平衡相:混沌、注意力凝聚与涌现局域性

    理论分析极简循环Transformer中负值映射引发的非平衡动力学,发现混沌、注意力凝聚及几何局域性等新相变现象。

  2. 02
    SAS:通过端到端优化上下文排序实现简单注意力稀疏化

    提出 SAS 方法,以可微分上下文排序替代硬 Top-K 选择,提升后训练注意力稀疏化效果