模型压缩
9 条- 01从上下文视角看压缩：评估阿拉伯语法律领域大语言模型的适配、量化与蒸馏效果
在阿拉伯语法律基准ArabLegalEval上系统评测模型压缩技术对上下文依赖型法律推理的影响。
- 02平衡分层表征与量化：文本嵌入中的性能权衡
实证研究分层嵌入结构与不同精度量化组合对38项MTEB任务的影响，揭示效率与性能的系统性权衡。
- 03CompressionBench：你的代码智能体如何压缩大语言模型？
构建首个评测代码智能体自主完成LLM压缩能力的基准，将模型压缩定义为需满足存储/环境/时间约束的终端任务。
- 04面向模态感知的专家剪枝方法：用于MoE架构多模态大语言模型
针对InternVL3.5、Qwen3-VL等MoE-MLLM中专家参数占比超90%的问题，提出按模态动态分配重要性的剪枝策略
- 05在手机上训练专用大语言模型：基于块谱坐标的仅前向优化
提出MobileSpec系统，仅用前向传播即可在内存受限的手机端训练轻量级专用LLM，无需反向传播和标注数据。
- 06随机搜索能否发现任务专家？重审神经灌木丛
质疑‘预训练模型含密集任务专家’假说，指出高斯权重扰动筛选出的‘最佳专家’性能提升主要源于选择偏差。
- 07LoRAForge：面向高效多LoRA服务的后训练压缩与执行协同设计
提出LoRAForge框架，协同优化LoRA适配器压缩与GPU内核执行，解决大规模多适配器部署的延迟与内存瓶颈。
- 08专家展现结构化冗余：面向MoE大语言模型的保结构专家剪枝
发现MoE层专家输出存在稳定秩与有效熵秩远低于专家数的结构化冗余，据此提出保结构剪枝方法降低部署内存开销。
- 09DCKV：混合语言模型中提示KV缓存的可学习变换编码
提出首个端到端训练的KV缓存编解码器DCKV，通过条件变换与量化压缩提示状态。