Transformer
2 条- 01类型多样性使 Transformer 具备组合泛化能力
指出 Transformer 组合泛化能力受限主因是数据集结构类型多样性低,而非模型固有缺陷
- 02Transformer中的距离泛化:为何还需位置编码?
构造合成延迟复制任务,揭示Transformer在固定长度下跨token距离变化时的泛化失效,挑战位置编码必要性假设。
指出 Transformer 组合泛化能力受限主因是数据集结构类型多样性低,而非模型固有缺陷
构造合成延迟复制任务,揭示Transformer在固定长度下跨token距离变化时的泛化失效,挑战位置编码必要性假设。