长上下文
3 条- 01潜在稀疏注意力:面向亚二次超长上下文注意力
提出新型稀疏注意力索引器,在超长上下文(>1M token)下实现亚二次复杂度且不牺牲精度。
- 02基于分层树结构索引器的亚二次注意力
设计树状分层索引器,首次实现严格亚二次复杂度的稀疏注意力,兼顾表达力与长上下文扩展性。
- 03带广义二阶路由的多状态线性注意力
改进MSLA机制,引入二阶路由聚合段级记忆状态,提升长序列建模效率与表达能力。
提出新型稀疏注意力索引器,在超长上下文(>1M token)下实现亚二次复杂度且不牺牲精度。
设计树状分层索引器,首次实现严格亚二次复杂度的稀疏注意力,兼顾表达力与长上下文扩展性。
改进MSLA机制,引入二阶路由聚合段级记忆状态,提升长序列建模效率与表达能力。