线性注意力
2 条- 01STEPQuant:Delta规则循环状态量化中错误何时何地产生影响
发现循环状态量化误差的影响具有时空双重依赖性,提出误差敏感性分析框架指导高效低精度推理。
- 02LeapQuant:基于高精度循环状态量化的高效线性注意力
提出新型量化方案,在保持线性注意力模型质量前提下显著降低长上下文推理的内存与计算开销。
发现循环状态量化误差的影响具有时空双重依赖性,提出误差敏感性分析框架指导高效低精度推理。
提出新型量化方案,在保持线性注意力模型质量前提下显著降低长上下文推理的内存与计算开销。