谷歌发布Gemini Omni 1.2 Flash多模态模型，主打低延迟实时交互与轻量部署。

提出Slot-Parallel语义推测机制，显著加速LLM智能体长历史上下文压缩，兼顾信息保留与低延迟。

Nvidia 新固件因加密导致 AI 推理性能严重下降，影响开发者部署

开源Rust语言编写的AI推理优化工具，专注token效率提升，属AI基础设施进展

针对MoE模型本地推理中专家卸载导致的GPU等待问题，提出交错请求调度机制，避免低效预取并提升带宽利用率。

提出LoRAForge框架，协同优化LoRA适配器压缩与GPU内核执行，解决大规模多适配器部署的延迟与内存瓶颈。

为LLM智能体中的轻量级决策模型设计高效推理引擎，消除前缀重复计算开销并保持输出概率准确性。

提出首个端到端训练的KV缓存编解码器DCKV，通过条件变换与量化压缩提示状态。

发现 GLM-5.3 在 Cloudflare Workers AI 平台上存在跨请求 KV 缓存意外共享漏洞，影响推理隔离性。