循环神经网络
2 条- 01循环状态安全遗忘的边界是什么?
形式化定义循环模型隐藏状态的‘预测商空间’,刻画可安全压缩/遗忘的信息边界,建立记忆与稳定性的理论权衡
- 02模型增长、递归与边界算子如何影响缩放指数
证明循环Transformer等架构干预可改变预训练缩放指数,实现计算量增加下的指数级性能提升。
形式化定义循环模型隐藏状态的‘预测商空间’,刻画可安全压缩/遗忘的信息边界,建立记忆与稳定性的理论权衡
证明循环Transformer等架构干预可改变预训练缩放指数,实现计算量增加下的指数级性能提升。