优化算法
5 条- 01自适应多模式:基于在线景观探测的优化器预算感知路由
提出AMM算法,通过在线探测函数景观特征(曲率、平台等)动态分配预算给多种优化器,提升黑盒优化效率。
- 02在手机上训练专用大语言模型:基于块谱坐标的仅前向优化
提出MobileSpec系统,仅用前向传播即可在内存受限的手机端训练轻量级专用LLM,无需反向传播和标注数据。
- 03预训练数据规模逆转Muon-AdamW微调性能差距
发现当预训练数据量足够大时,AdamW在下游任务微调中反超Muon优化器,且该拐点随模型增大而前移。
- 04线性赌博机的“两全其美”FTRL算法:信息获取、污染与几何结构的交互
提出首个纯FTRL框架下的两全其美算法IAFTRL,统一实现对抗/随机环境下的最优悔恨界。
- 05进化策略的质心解释
将进化策略更新重新诠释为带质量权重的粒子系统质心运动,提供几何视角替代梯度估计解释。