AI星际引擎AI STARSHIP
2026.11.08 星期日
第 94 期
主题 · KV缓存

KV缓存

2 条
  1. 01
    ACCT:非对称跨大语言模型上下文迁移

    提出KV缓存跨异构LLM迁移机制ACCT,减少重复上下文处理开销,支持动态多模型协同推理部署。

    arxiv.org·arXiv·10/31LLM部署KV缓存模型协同
  2. 02
    KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%

    新型OCR模型通过KV缓存压缩技术实现超长文档零截断处理,内存占用降低96%。

    qbitai.com·量子位·10/27OCR模型优化KV缓存