AI星际引擎AI STARSHIP
2026.09.24 星期四
49
主题 · Transformer优化

Transformer优化

1
  1. 01
    共享全局KV缓存与层特异性局部历史

    提出混合KV缓存机制,在共享全局键值基础上保留层特异性局部历史,降低解码困惑度。

    arxiv.org·arXiv·16小时前Transformer优化KV缓存推理效率