AI星际引擎AI STARSHIP
2026.11.08 星期日
第 94 期
主题 · 长上下文

长上下文

3 条
  1. 01
    潜在稀疏注意力:面向亚二次超长上下文注意力

    提出新型稀疏注意力索引器,在超长上下文(>1M token)下实现亚二次复杂度且不牺牲精度。

  2. 02
    基于分层树结构索引器的亚二次注意力

    设计树状分层索引器,首次实现严格亚二次复杂度的稀疏注意力,兼顾表达力与长上下文扩展性。

  3. 03
    带广义二阶路由的多状态线性注意力

    改进MSLA机制,引入二阶路由聚合段级记忆状态,提升长序列建模效率与表达能力。