arXiv cs.AI· Jeremy Canale·· 10 天前AI 评分39
迈向对齐缩放定律：一个框架与首批预注册测量
Toward Alignment Scaling Laws: A Framework and First Preregistered Measurements
AI 导读
研究将对齐建模为可测量的缩放关系，提出对齐负担 B_r(N)=a_rN^alpha_r，并证明修正风险中最大指数决定长期态势。对 Pythia 分类器公开对抗训练数据的预注册再分析显示，将攻击成功率压到 10% 以下所需算力按 N^0.60 增长；Qwen2.5 0.5B-72B 预注册试点测得真实性指数 -0.05、表述倾向 0.48，而谄媚与植入后门尚未确定。
正文 · AI 翻译
摘要：对齐随着模型规模增长是变得更容易还是更困难，人们往往依据孤立的发现来争论，仿佛对齐是单一属性。我们将其视为一族可度量的缩放关系：对于每个风险类别 r，维持固定安全目标所需的对齐负担被建模为 B_r(N)=a_rN^alpha_r，其中 N 是能力代理指标；相对于与 N 成正比的预算，若 alpha_r<1 则缩放有利，若 alpha_r~1 则保持同步，若 alpha_r>1 则累积对齐债务。我们给出负担的三种操作化定义，并区分观测对齐、审计对齐与真实对齐。一个玩具模型——其中修正会消耗能力余量——使后果变得明确。我们证明：决定长期态势的是已修正风险中最大的指数，而非平均值；当指数大于 1 时，任何将余量维持在底线之上的策略都必须超指数增长；对于作为幂律正混合的负担，在小模型上的拟合会低估大规模指数；以及，一项能在无误报的情况下揭示隐藏失败的审计永远不会低估真实对齐。我们提出一个可预注册的协议，并两次应用其简化版本。对 Pythia 分类器公开对抗训练数据的预注册再分析发现，将攻击成功率降至 10% 以下所需的算力按 N^0.60 增长。一项在 Qwen2.5 0.5B-72B 上的预注册试点发现，真实性指数为 -0.05，陈述性倾向指数为 0.48（在其简化规则下两者缩放均有利，尽管局部斜率在顶端接近 1；在 Qwen3 0.6B-14B 上得到复现），而谄媚（0.89，或在 72B 处加入两个种子后为 0.83）和植入后门则无法确定：后门在其触发器已知时会被迅速移除，但在五个规模中的四个上能挺过盲安全训练。我们发布四款演绎这些定律的浏览器游戏（此 http URL）。我们不对当前前沿模型处于哪种态势作出任何断言。
| 评论： | 34 页，24 幅图，8 张表。游戏：此 https URL。预注册：此 https URL、此 https URL、此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.08540 [cs.AI] |
| （或 arXiv:2610.08540v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08540 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Jeremy Canale [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 15:29:07 UTC（2,025 KB）
来源：arXiv cs.AI · arxiv.org