LoRA
2 条- 01模型融合无需统一LoRA秩
实证表明LoRA秩可异构化训练后融合,打破传统统一秩约束,在数学、指令、多语言任务上验证有效性。
- 02LoRAForge:面向高效多LoRA服务的后训练压缩与执行协同设计
提出LoRAForge框架,协同优化LoRA适配器压缩与GPU内核执行,解决大规模多适配器部署的延迟与内存瓶颈。
实证表明LoRA秩可异构化训练后融合,打破传统统一秩约束,在数学、指令、多语言任务上验证有效性。
提出LoRAForge框架,协同优化LoRA适配器压缩与GPU内核执行,解决大规模多适配器部署的延迟与内存瓶颈。