AI星际引擎AI STARSHIP
2026.11.08 星期日
第 94 期
主题 · 模型蒸馏

模型蒸馏

4 条
  1. 01
    CoRD:耦合rollout填补策略蒸馏中的盲区

    提出CoRD方法,通过教师-学生分布耦合采样,解决on-policy蒸馏中学生未覆盖状态缺乏监督的问题。

    arxiv.org·arXiv·3天前模型蒸馏强化学习策略优化
  2. 02
    更好答案,更弱证据控制:策略内蒸馏中的证据绕过现象

    发现策略内蒸馏(OPD)会削弱学生模型对支撑证据的响应能力,导致‘证据绕过’错误保留原答案。

    arxiv.org·arXiv·7天前模型蒸馏证据依赖Qwen
  3. 03
    OC-OPD:面向策略内蒸馏的观测协调监督方法

    提出OC-OPD,通过学生/教师双向四观测矩阵解耦逆向与正向KL目标,提升蒸馏稳定性与证据对齐。

    arxiv.org·arXiv·7天前模型蒸馏KL散度监督学习
  4. 04
    更优判别器对分布匹配蒸馏至关重要

    揭示判别器容量与信息完整性对分布匹配蒸馏效果的关键影响,指出固定小判别器会导致学生模型训练崩溃。