泛化能力
3 条- 01Harness-Zero:基于代理即测试台的代理测试台蒸馏方法
提出Harness-Zero框架,将领域定制化代理测试台(harness)的知识蒸馏至通用代理中,解耦部署性能与专用测试台依赖。
- 02类型多样性使 Transformer 具备组合泛化能力
指出 Transformer 组合泛化能力受限主因是数据集结构类型多样性低,而非模型固有缺陷
- 03Transformer中的距离泛化:为何还需位置编码?
构造合成延迟复制任务,揭示Transformer在固定长度下跨token距离变化时的泛化失效,挑战位置编码必要性假设。