模型压缩
7 条- 01面向边缘设备实时音高估计的低秩频率卷积与噪声范围增强
提出低秩频率卷积网络FrCN,参数减少35.9%且保持跨域鲁棒性,满足边缘端实时低延迟音高估计需求
- 02智能家居场景中剪枝对大语言模型的影响:跨架构与任务复杂度的退化评估
系统评测四种LLM架构在智能家居工具调用任务中经不同剪枝策略后的性能退化,揭示剪枝对上下文感知能力的非线性影响。
- 03Meta新研究:字节模型蒸馏后,天花板破了
Meta提出新型知识蒸馏方法,显著提升小模型在多任务基准上的性能,突破原有能力上限
- 04内在路由器:从冻结的大型语言模型中激发原生技能路由能力
证明冻结LLM前向传播中已隐含技能路由信号,仅需两个线性映射即可提取,摆脱元数据上下文依赖与检索外挂。
- 05加里·谭呼吁美国开源权重AI实验室也对前沿模型进行‘蒸馏’
提出开源AI实验室应通过知识蒸馏压缩前沿大模型,降低部署门槛并提升可访问性。
- 06SAS:通过端到端优化上下文排序实现简单注意力稀疏化
提出 SAS 方法,以可微分上下文排序替代硬 Top-K 选择,提升后训练注意力稀疏化效果
- 07CoRA-NAS:面向神经架构搜索的粗粒度排序与锚点-残差精炼
提出两阶段NAS框架CoRA-NAS,融合零成本代理与学习曲线外推,在多搜索空间中高效定位高性能架构。