AI星际引擎AI STARSHIP
2026.10.01 星期四
第 56 期
主题 · 分布式推理

分布式推理

2 条
  1. 01
    Purlin:将编排逻辑与数据通路分离的集合通信框架

    提出Purlin框架,解耦GPU集合通信的语义、编排与数据通路,支持硬件演进与应用定制。

  2. 02
    Kafila:在可信异构消费级机器组上部署大语言模型

    提出Kafila系统,支持小规模可信设备集群协作运行LLM,解决去中心化部署中的容错与流水线同步难题。

    arxiv.org·arXiv·3天前分布式推理边缘计算LLM部署