强化学习
16 条- 01强到弱在线策略蒸馏(OPD)对比GRPO的计算效率剖析
实证比较OPD与GRPO在多维度下的FLOPs-精度权衡,发现OPD在特定设置下显著降低训练算力需求
- 02CoRD:耦合rollout填补策略蒸馏中的盲区
提出CoRD方法,通过教师-学生分布耦合采样,解决on-policy蒸馏中学生未覆盖状态缺乏监督的问题。
- 03强化学习赋能通用机器人策略的规模化改进
提出迭代式RL自改进方法,在多任务通用机器人策略上实现部署前高效适配,超越单任务范式。
- 04风险敏感的非参数与核带宽博弈算法
提出基于累积前景理论(CPT)的非参数带宽算法NPCB,解决连续动作空间下风险感知决策问题,拓展强化学习理论边界。
- 05多轮强化学习在LLM智能体中究竟提升了什么?
揭示多轮RL优势集中于错误恢复而非单步决策提升,且严重依赖交互轮次预算,为LLM智能体训练提供关键约束认知。
- 06奖励预算化降低强化学习中大语言模型推理的过早收敛
提出sharpness因子κ及有效κ_eff,通过奖励预算控制缓解RL for LLM推理中的策略分布尖锐化问题
- 07基于统计杠杆分数的多样性感知经验回放
针对物理机器人RL中稀有事件采样不足问题,提出仅依赖缓冲区内部数据计算的杠杆分数量化方法
- 08PolicyIK:基于强化学习的高精度机器人臂逆运动学方法
提出PolicyIK——一种目标条件强化学习策略,实现高精度、免标定、跨本体的机器人逆运动学求解。
- 09密度感知奖励缩放:一种面向奖励比例采样的强化学习框架
提出DARS方法,在连续空间中实现奖励比例采样,提升策略多样性,同时兼容标准策略梯度训练。
- 10具有子模轨迹奖励的协同多智能体强化学习
针对非加性子模奖励导致的指数复杂度,提出预窗口曲率约束,实现可证明近优的多智能体协同策略学习。
- 11并非所有推理都能泛化:RLVR中可泛化推理策略的学习案例研究
在可控方程求解框架下揭示RLVR中推理策略泛化失败现象,指出策略需显式建模难度迁移而非仅依赖奖励信号。
- 12线性赌博机的“两全其美”FTRL算法:信息获取、污染与几何结构的交互
提出首个纯FTRL框架下的两全其美算法IAFTRL,统一实现对抗/随机环境下的最优悔恨界。
- 13罗马非一日建成:面向长周期Freeciv智能体的基于回放的奖励信号
提出‘记分板陷阱’概念,设计基于游戏回放的奖励信号机制,提升语言模型在长周期策略游戏中的训练稳定性。
- 14world2vec:通过潜在动力学学习构建机制性世界模型
提出world2vec,无奖励信号下从观测与动作中学习高保真长程动力学,参数量比Dreamer少一个数量级。
- 15基于单一量‘信息价值’的廉价检索与观测信用分配
提出用‘信息价值’统一建模检索效率与信用分配问题,并通过世界模型从回放缓冲区估计该量。
- 16在多臂赌博机中同时实现极小极大最优一阶遗憾与双世界最优遗憾
提出新算法,首次在多臂赌博机中统一达成极小极大最优最坏情况遗憾与自适应一阶遗憾,理论突破性强。