跳到正文
arXiv cs.AI· Behrooz Tahmasebi, Melanie Weber·· 10 小时前AI 评分34

Test-Time Symmetrization:面向结构下模型无关学习的缩放定律

Test-Time Symmetrization: Scaling Laws for Model-Agnostic Learning under Structure

AI 导读

论文提出 test-time symmetrization,通过对输入的重写(rewriting)做前向计算并按重写群 G 聚合答案,证明仅需 O(log |G|) 次随机重写即可恢复全部 |G| 次重写的信息,且该对数缩放为最优。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:测试时计算已成为在推理阶段提升语言模型准确率的一种强大方式,相关缩放定律量化了准确率如何随额外前向传播次数的增加而提升。然而,现有缩放定律关注的是对固定提示的重复采样,尽管许多任务允许同一底层问题存在多种等价表示。图不依赖于其节点如何编号,程序也不依赖于其变量名称,但语言模型在此类重写下可能改变其答案。本文研究测试时对称化,即对输入的重写进行前向传播,并在重写群 $G$ 上聚合所得答案。我们证明,无论采样多少次、从单一表示重复解码多少次,都无法替代重写;而仅需 $O(\log |G|)$ 次随机重写,就足以恢复全部 $|G|$ 次重写所提供的信息。同一组 $O(\log |G|)$ 次重写可跨模型、解码规则和采样的推理轨迹同时提供近似,且该对数缩放在一般情况下是最优的。我们在 Qwen2.5-7B、Phi-4-mini、Llama-3.1-8B 和 Qwen2.5-14B 上,结合思维链推理,在图推理、逻辑演绎和多项选择问答任务上验证了该理论。在前向传播次数相同时,只要模型的答案依赖于输入的书写方式,将这些次数用于输入的重写就比用于对原始提示的重复采样准确得多;并且所需的重写次数仅随可能重写数量的对数增长,与理论预测一致。我们的结果为在无法将对称性内建于模型时于推理阶段强制实施对称性提供了一种有原则的方法,我们称之为模型无关对称化。
评论: 38 页,13 幅图
主题: 人工智能(cs.AI)
引用为: arXiv:2611.24032 [cs.AI]
  (或 arXiv:2611.24032v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24032

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Behrooz Tahmasebi [查看电子邮件]
[v1] 2026 年 11 月 18 日星期三 08:20:34 UTC(258 KB)

来源:arXiv cs.AI · arxiv.org