分布式推理
2 条- 01Purlin:将编排逻辑与数据通路分离的集合通信框架
提出Purlin框架,解耦GPU集合通信的语义、编排与数据通路,支持硬件演进与应用定制。
- 02Kafila:在可信异构消费级机器组上部署大语言模型
提出Kafila系统,支持小规模可信设备集群协作运行LLM,解决去中心化部署中的容错与流水线同步难题。
提出Purlin框架,解耦GPU集合通信的语义、编排与数据通路,支持硬件演进与应用定制。
提出Kafila系统,支持小规模可信设备集群协作运行LLM,解决去中心化部署中的容错与流水线同步难题。