arXiv cs.AI· Ayushi Chadha·· 9 天前AI 评分22
分数不等于策略：衡量自适应修订的价值
A Score Is Not a Policy: Measuring the Value of Adaptive Revision
AI 导读
研究在分层潜在推理器中发现，学习到的修订时机虽能产生随内部状态变化的策略，但在三个预训练种子上均未超越同一冻结检查点上的最佳强制时机策略。对原始检查点的干预实验表明时机本身具有影响且对顺序敏感，穷举枚举显示强固定调度已捕获该决策预算下大部分可测价值。作者据此提出应从分数是否依赖状态、该依赖是否改变实际行为、以及改变是否带来超越强非自适应策略的收益三个维度评估元层控制。
正文 · AI 翻译
摘要：随着智能体系统演变为复合系统，越来越多重要的决策上移到任务执行之上：高层控制器何时应保留指导另一过程的策略，何时应修改它？我们在一个分层潜在推理器中研究这一元层控制问题，其管理器可以保留或替换支配低层计算的承诺。在三个预先确定的训练种子中，学习到的修订时机产生了性质不同的策略，从几乎确定性的早期时钟到显著更多依赖状态的调度分布，然而在相同冻结检查点上评估时，没有一个优于最佳的强制时机策略。这将状态依赖性与决策价值区分开来：控制器可以随内部状态改变其动作，而不将这种变化转化为可复现的任务性能收益。对原始检查点进行的更深入干预研究表明，时机本身具有重要影响且对顺序敏感，而穷举枚举揭示，在此决策预算下，一个强固定调度捕获了时机可获得的绝大部分可测量价值。反事实 PERSIST/REPLAN 诊断进一步表明，当可预测性由决策位置而非位置内区分度主导时，分数层面的证据为何可能具有误导性。总之，这些结果表明，学习到的元层控制应沿三个独立轴进行评估：其分数是否依赖于状态，这种依赖是否改变实际行为，以及这些改变是否在强非自适应策略之外捕获了结果价值。
| 评论： | 11 页，5 幅图，预印本，审稿中 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.00874 [cs.AI] |
| （或 arXiv:2609.00874v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.00874 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ayushi Chadha [查看电子邮件]
[v1]
2026 年 9 月 1 日星期二 08:07:38 UTC（947 KB）
[v2]
2026 年 10 月 8 日星期四 09:23:16 UTC（947 KB）
来源：arXiv cs.AI · arxiv.org