arXiv cs.CL· Linhao Luo, Thuy-Trang Vu, Van-Anh Nguyen, Junae Kim, Gholamreza Haffari, Dinh Phung·· 10 小时前AI 评分31
MATO：面向大语言模型的多目标个性化对齐与测试时优化
MATO: Multi-objective Personalized Alignment with Test-time Optimization for Large Language Models
AI 导读
MATO 是一个无需训练的框架，通过测试时优化在解码阶段以可控权重调节多个目标的相对重要性，无需修改模型参数或依赖外部奖励模型。其奖励发现模块从主干 LLM 构建提示词衍生的代理奖励，权重优化模块则根据用户初始偏好和部分生成结果动态调整权重。在多个数据集和主干 LLM 上的实验显示，MATO 持续优于强基线，实现帕累托改进的多目标对齐与更强的可控性。
正文 · AI 翻译
摘要：使大型语言模型（LLM）与多样且多方面的用户偏好对齐，是个性化 AI 系统中的一个根本性挑战。现有的多目标对齐方法要么依赖昂贵的训练，要么需要为每种偏好预训练奖励模型，使其难以适应不断变化的偏好。基于提示的个性化提供了一种无需训练的替代方案，但仅靠提示往往可引导性有限，因为 LLM 可能过度强调或忽视某些偏好，并且在出现冲突时无法让用户可靠地控制不同目标的相对重要性，导致对齐效果欠佳。在本文中，我们提出了 MATO，一个无需训练的框架，用于通过测试时优化实现多目标个性化对齐。MATO 将个性化表述为一个测试时优化问题，在解码过程中通过可控权重引导多个目标的相对重要性，而无需修改模型参数或需要外部奖励模型。具体而言，奖励发现模块从主干 LLM 中为以自然语言指定的多种目标构建由提示衍生的代理奖励，而权重优化模块则根据用户的初始偏好和部分生成的响应动态调整目标权重，以在生成过程中平衡相互竞争的目标。所得的代理奖励和权重共同引导对 token 分布的在线优化过程，从而更好地与目标目标对齐。在多个数据集和主干 LLM 上的大量实验表明，MATO 始终优于强基线，实现了帕累托改进的多目标对齐和更强的可引导性。这些结果凸显了测试时优化作为可扩展、可控且与模型无关的个性化对齐的一个有前景的方向。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.25342 [cs.CL] |
| （或 arXiv:2605.25342v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.25342 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Linhao Luo [查看电子邮件]
[v1]
2026 年 5 月 25 日星期一 01:57:22 UTC（7,691 KB）
[v2]
2026 年 11 月 6 日星期五 03:13:12 UTC（7,700 KB）
来源：arXiv cs.CL · arxiv.org