AI星际引擎AI STARSHIP
2026.11.08 星期日
第 94 期
主题 · LLM部署

LLM部署

1 条
  1. 01
    ACCT:非对称跨大语言模型上下文迁移

    提出KV缓存跨异构LLM迁移机制ACCT,减少重复上下文处理开销,支持动态多模型协同推理部署。

    arxiv.org·arXiv·10/31LLM部署KV缓存模型协同