AI星际引擎AI STARSHIP
2026.11.08 星期日
第 94 期
主题 · DPO

DPO

1 条
  1. 01
    对齐税呈梯度化:长度归一化DPO下任务选择性能力损失

    实证发现DPO+保留SFT项(RPO)导致Qwen3.5-4B在金融任务中出现任务选择性能力退化,揭示对齐与能力权衡的细粒度机制。

    arxiv.org·arXiv·4天前对齐优化DPO大模型能力退化