arXiv cs.CL· Miaobo Hu, Shuhao Hu, Xiaobo Guo, Xin Wang, Bokun Wang, Tianshu Fu, Daren Zha·· 11 小时前AI 评分18
FAER：面向语言模型后训练的可审计效用对齐轨迹回放框架
FAER: Auditable Utility-Aligned Trajectory Replay for Language Model Post-Training
AI 导读
FAER 是一个可审计的全轨迹回放框架，用于语言模型后训练中的轨迹选择，其 learner-aware 选择器 FAER-UTILITY 在 GSM8K 上用 Qwen2.5-1.5B-Instruct 达到 0.6624 质量分，高于固定选择器的 0.6329 和 format-feedback 的 0.6037。
正文 · AI 翻译
摘要：回放选择器通常按格式反馈、置信度、新鲜度或响应长度对缓存轨迹排序，尽管缓存层面的正确性与下游学习者的效用是不同的目标。我们将这种选择到学习的差距形式化，并引入 FAER 作为一个可审计的全轨迹回放框架。其免训练的固定选择器是一个协议基线；FAER-UTILITY 是在不相交的校准块上拟合的、感知学习者的选择器。归一化梯度对齐作为基线报告，而一次性的、感知优化器的虚拟更新提供幅度感知的效用面。审计契约在评估标签被连接之前冻结观测字段和回放轨迹。在 GSM8K 上使用 Qwen2.5-1.5B-Instruct，匹配的学习者研究报告固定选择器的质量为 0.6329，而在 128 次更新下，均匀选择为 0.5482，格式反馈为 0.6037。仅元数据的交叉拟合校准在八个种子上达到 $0.6476\!\pm\!0.0139$（中位数 0.6481；配对 95% 区间 $[+0.079,+0.122]$），目标运行 token 数为 63,276；其记录的总成本为 189,642 个 token 和 3.48 GPU 小时（包括校准）。完成的 FAER-UTILITY 行在 62,844 个目标运行 token 和 4.26 GPU 小时下达到 0.6624。格式反馈选择的记录正确率为 0.6953，而固定选择器为 0.3594，尽管下游排名不同。完成的比较面报告了感知学习者的消融、同种子差距、策略优化行以及严格的零样本迁移。
| Comments: | 35 页，6 张图 |
| Subjects: | 机器学习 (cs.LG)；人工智能 (cs.AI)；计算与语言 (cs.CL)；机器学习 (stat.ML) |
| Cite as: | arXiv:2610.00385 [cs.LG] |
| （或此版本的 arXiv:2610.00385v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.00385 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Miaobo Hu [查看电子邮件]
[v1]
2026 年 9 月 30 日星期三 09:41:08 UTC（1,620 KB）
[v2]
2026 年 10 月 16 日星期五 12:01:19 UTC（1,620 KB）
来源：arXiv cs.CL · arxiv.org