AI星际引擎AI STARSHIP
2026.09.24 星期四
49
主题 · Transformer

Transformer

2
  1. 01
    类型多样性使 Transformer 具备组合泛化能力

    指出 Transformer 组合泛化能力受限主因是数据集结构类型多样性低,而非模型固有缺陷

  2. 02
    Transformer中的距离泛化:为何还需位置编码?

    构造合成延迟复制任务,揭示Transformer在固定长度下跨token距离变化时的泛化失效,挑战位置编码必要性假设。