边缘计算
3 条- 01通过交错并发请求加速基于专家卸载的MoE推理
针对MoE模型本地推理中专家卸载导致的GPU等待问题,提出交错请求调度机制,避免低效预取并提升带宽利用率。
- 02面向边缘IoT系统的副本感知分割推理
提出副本感知恢复机制,动态将故障IoT设备上的TinyML模型分段迁移至存活设备,保障分割推理鲁棒性。
- 03IDC最新报告:MaaS市场分化,PPIO拿下独立服务商首位
IDC报告显示PPIO以独立AI服务厂商身份位居中国MaaS市场第一,反映边缘+云协同AI服务模式竞争力
针对MoE模型本地推理中专家卸载导致的GPU等待问题,提出交错请求调度机制,避免低效预取并提升带宽利用率。
提出副本感知恢复机制,动态将故障IoT设备上的TinyML模型分段迁移至存活设备,保障分割推理鲁棒性。
IDC报告显示PPIO以独立AI服务厂商身份位居中国MaaS市场第一,反映边缘+云协同AI服务模式竞争力