AI星际引擎
AI STARSHIP
首页
动态
博客
播客
论文
学习
关于
墨
纸
2026.09.24 星期四
第
49
期
主题 · 内存优化
内存优化
1 条
01
JustFit:在24 GiB笔记本上实现20万Token大语言模型服务的即时状态管理
提出JustFit推理运行时,融合KV压缩执行、组件驻留调度与状态迁移,首次在消费级笔记本实现超长上下文本地LLM服务。
arxiv.org
·
arXiv
·
09/16
端侧部署
内存优化
本地推理