过拟合
2 条- 01扩散模型中的双重下降与恶性过拟合
揭示扩散模型中过参数化导致恶性而非良性过拟合,挑战传统双下降假设,属基础模型理论重要发现。
- 02数据稀缺与模型稀疏性:混合专家模型对重复数据过拟合更严重
首次系统揭示MoE架构在数据重复场景下比稠密Transformer更易过拟合,揭示稀疏激活与数据重复的耦合风险。
揭示扩散模型中过参数化导致恶性而非良性过拟合,挑战传统双下降假设,属基础模型理论重要发现。
首次系统揭示MoE架构在数据重复场景下比稠密Transformer更易过拟合,揭示稀疏激活与数据重复的耦合风险。