arXiv cs.CL· Xiaojun Wu, Cehao Yang, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo·· 10 小时前AI 评分31
FARO：通过跨块等风险贡献预算分配的函数空间自适应回险优化器
FARO: Function-Space Adaptive Return-to-Risk Optimization via Cross-Block Equal-Risk-Contribution Budget Allocation
AI 导读
FARO 是一种函数空间自适应优化器，以参数分块为决策单元，按各块的反事实回报分配几何结构，再用组合理论中的等风险贡献（ERC）原则重新分配冻结的块级预算。
正文 · AI 翻译
摘要：训练大型语言模型受计算量限制，而当前的方案在优化器之间手工划分工作：对注意力和 MLP 矩阵使用正交化动量，对其余部分使用 Adam 式更新。这种划分基于人类先验，即哪种层类型应使用哪种几何结构，并且它固定了每个参数块共享的单一全局更新预算。我们提出 FARO，一种函数空间自适应优化器，它将参数划分为块作为决策单元。FARO 根据每个块实现的反事实回报为其赋予几何结构，然后冻结这些路由，并通过跨块等风险贡献（ERC）——投资组合理论中的风险平价原则——重新分配冻结的每块预算。在 FineWeb 上训练的 GPT 风格模型上，该框架给出两个结果。首先，其 FARO-Adaptive 分支在完整调度下达到 3.2780 nats，与最佳手工设计配方 NorMuonAndAdam（3.2794）相当：它在无需手动设置逐层几何结构的情况下恢复了人类先验。其次，FARO-ERC 在该分支基础上有所改进：它在全部 6 个随机种子下都降低了干净数据损失，平均降低 0.0136 nats，增益不大但稳健。其符号检验、配对检验和置信区间均一致，并且在不增加时间或内存的情况下超过了实测的运行间噪声。它通过削减风险最高的块而非扩展最安全的块来起作用，并且在损坏的数据流下依然有效，仍能降低平均损失并在多数随机种子上获胜。源代码可在 此 https URL 获取。
| 评论： | 20 页，5 张图 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.40858 [cs.LG] |
| （或 arXiv:2610.40858v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40858 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiaojun Wu [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 18:37:04 UTC（782 KB）
来源：arXiv cs.CL · arxiv.org