arXiv cs.CL· Agnibh Karmakar, Mayur Parvatikar, Shreyash Dhoot, Amit Dhanda, Aman Chadha, Kapil Wanaskar, Vinija Jain, Amitava Das·· 10 小时前AI 评分31
Swiss-Knife:可重构的外部化多目标解码时对齐框架
Swiss-Knife: A Framework for Reconfigurable Externalised Multi-Objective Alignment at Decode Time
AI 导读
Swiss-Knife 是一个在解码时进行外部化多目标对齐的框架,将对齐规范作为运行时对象,支持热插拔评分模块、批归一化、成对聚合算子与选择规则。
正文 · AI 翻译
摘要:解码时对齐方法通过用外部奖励对候选续写进行评分并选择得分最高者,来引导一个冻结的语言模型。我们认为,这一共同设计只是一个更大空间中的单一退化点。我们提出 Swiss-Knife,一个用于外置多目标对齐的框架,其中对齐规范是一等运行时对象:可热插拔的评分刀片、批归一化器、成对聚合算子以及选择规则。六条公理刻画了可容许的聚合算子,并且我们证明了一个表示定理:满足这些公理的每个算子都具有形式 $R_i = \sum_{j \neq i} g((\mu_i - \mu_j)/s(\sigma_i,\sigma_j))$,这是一个双参数族,包含 probit 与 logistic 比较规则,以及作为具名坐标的逐点 argmax。在该族中,成对聚合在对抗性奖励污染下是 Lipschitz 稳定的,而 argmax 则不是;并且候选批归一化(CBN)使权重单纯形在奖励模型仅能被识别到的那些重缩放之下保持不变。我们的参考实例化将 DPO-LoRA 刀片与不确定性感知的成对锦标赛配对。在有用性/诚实性/无害性单纯形上扫描时,它在六种解码时方法中取得了最佳平衡前沿(调和 $F_1$ 为 0.797,而最强基线为 0.750,$p < 10^{-14}$),并具有所有方案中最低的拒绝率和最高的有用性,且无需梯度计算即可在 0.05 ms 内重新配置其目标。
| 评论: | 19 页,3 幅图,包含技术附录与证明 |
| 主题: | 计算与语言(cs.CL);机器学习(cs.LG);机器学习(stat.ML) |
| 引用为: | arXiv:2609.22226 [cs.CL] |
| (或 arXiv:2609.22226v3 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.22226 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Agnibh Karmakar [查看邮箱]
[v1]
2026 年 9 月 3 日星期四 01:31:53 UTC(89 KB)
[v2]
2026 年 11 月 17 日星期二 21:43:37 UTC(89 KB)
[v3]
2026 年 11 月 19 日星期四 05:41:01 UTC(89 KB)
来源:arXiv cs.CL · arxiv.org