arXiv cs.CL· Constantinos Karouzos, Nikolaos Aletras·· 10 小时前AI 评分29
LambdaMix：联合训练低秩适配器的可调控多目标组相对偏好优化
Steerable Multi-Objective Group-Relative Preference Optimization with Jointly Trained Low-Rank Adapters
AI 导读
LambdaMix 是一种参数高效方法，通过在冻结基座上为每个目标联合训练一个低秩适配器，用偏好向量选择适配器混合并加权归一化奖励，实现组相对在线强化学习。单次训练即可在推理时切换偏好，无需额外优化。在有用性与无害性、数学解题兼顾指令遵循两项任务上，四个模型均取得高于所有条件化与策略合并基线的 hypervolume，且比一组 GRPO 专家策略使用更少训练完成数和更少适配器参数。
正文 · AI 翻译
摘要：语言模型部署往往需要在相互竞争的目标之间做出不同的权衡，因为用户偏好会发生变化，而标准的后训练方法通常针对固定的目标权重生成单一策略。我们提出 LambdaMix，这是一种新的参数高效方法，利用组相对在线强化学习来学习以偏好为条件的一组策略。LambdaMix 在冻结的基础模型上为每个目标联合训练一个低秩适配器。一个偏好向量选择生成响应的适配器混合，并对用于更新适配器的、分别归一化的奖励进行加权。单次训练运行即可支持在推理时更改偏好，无需进一步优化。我们在有用性和无害性任务上，以及在遵循指令的同时解决数学问题任务上，对四个模型进行了实验。我们还对两个最大的模型进行了评估，任务是改写评论，在保留措辞的同时减少关于个人属性的线索。在前两个任务上，LambdaMix 在全部四个模型上取得的高体积（hypervolume）均高于所有评估过的条件化基线和策略合并基线。与一组 GRPO 专家策略相比，LambdaMix 使用的训练完成次数更少，存储的适配器参数也更少。在架构和初始化固定的情况下，同时改变适配器混合和目标权重，比单独改变其中任一项能获得更宽的分数范围和更高的覆盖率。
| 评论： | 预印本。审稿中 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.09634 [cs.CL] |
| （或 arXiv:2611.09634v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09634 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Constantinos Karouzos [查看电子邮件]
[v1]
2026年11月6日星期五 15:50:32 UTC（325 KB）
来源：arXiv cs.CL · arxiv.org