大模型推理
3 条- 01让Token生产更高效：异构混推的关键技术演进与创新实践
商汤大装置团队介绍异构混推技术在提升大模型推理效率方面的创新实践。
- 02把记忆交给CPU，大模型会变快
提出CPU卸载KV缓存方案，降低GPU显存压力，提升大模型推理吞吐与效率。
- 03Claude Fable 5.1 破解了已有370年历史的赛弗拉双行密码
Anthropic 发布的 Claude Fable 5.1 成功破解古典密码，展示大模型在符号推理与历史密码分析中的新能力。
商汤大装置团队介绍异构混推技术在提升大模型推理效率方面的创新实践。
提出CPU卸载KV缓存方案，降低GPU显存压力，提升大模型推理吞吐与效率。
Anthropic 发布的 Claude Fable 5.1 成功破解古典密码，展示大模型在符号推理与历史密码分析中的新能力。