注意力机制
6 条- 01QRAE：面向DeepSearch智能体上下文压缩的查询相关注意力熵
提出QRAE方法，利用稀疏证据评估头动态筛选检索块，降低DeepSearch LLM智能体的上下文冗余。
- 02阅读‘为何’：基于光子与量子比特的 Born 测量注意力机制
设计全Born测量Transformer架构，使注意力与输出概率可解析归因，实现零数值误差的词级证据量化。
- 03潜在稀疏注意力：面向亚二次超长上下文注意力
提出新型稀疏注意力索引器，在超长上下文（>1M token）下实现亚二次复杂度且不牺牲精度。
- 04基于分层树结构索引器的亚二次注意力
设计树状分层索引器，首次实现严格亚二次复杂度的稀疏注意力，兼顾表达力与长上下文扩展性。
- 05单头注意力中长度泛化的位姿可实现性理论
建立单头纯位置注意力的可实现性理论，形式化解释不同位置编码方案在长度外推中的失效边界与机制。
- 06安全之头：学习型注意力门提升提示注入鲁棒性
提出Heads of Security（HoS），通过每头可学习注意力门分离可信/不可信token，增强大模型抗提示注入能力。