arXiv cs.AI· Jeesu Jung, Hwan Chang, Juseon Do, Jeonghwan Choi, Jinho Choo, Sungwoo Nam, S. K. Hong, Hwanjun Song·· 3 天前AI 评分26
Ready2Blend：从自然语言指令到可组合对齐提示词
Ready2Blend: From Natural-Language Instructions to Composable Alignment Prompts
AI 导读
Ready2Blend 将自然语言指令与学习式对齐结合，通过 AlignFormer 把每条需求映射为存入模块化提示词库的定长对齐提示词，主干与已有提示词保持冻结。其可组合性正则化将文本需求的语义几何迁移到提示词空间，支持推理时混合与重加权。在两种持续对齐设置下，它是唯一匹配后训练对齐方法的冻结主干方案，达到联合训练参考的 93.1%-98.5%，训练时间最多减少 4.3 倍。
正文 · AI 翻译
摘要：持续对齐要求 LLM 在不遗忘已获得行为的前提下适应新需求。自然语言指令灵活且可组合，但只能提供间接控制；而后训练提供更强的适应性，代价是反复更新参数。我们提出 Ready2Blend，它将自然语言的灵活性与学习到的对齐相结合。AlignFormer 将每个需求映射为一个固定长度的对齐提示，存储在模块化提示库中，而主干网络和先前的提示保持冻结。可组合性正则化将文本需求的语义几何迁移到提示空间，从而支持推理时的混合与重加权。在两种实际的持续对齐设置中，Ready2Blend 是唯一一种冻结主干的方法，能够与基于后训练的对齐方法相媲美，达到联合训练参考的 $93.1$-$98.5\%$，并具有有竞争力的保持能力，同时仅需少量提示 token，训练时间最多减少 $4.3\times$。其模块化设计进一步支持加权个性化和无需重新训练的无序组合。代码将在录用后发布。
| 评论： | 24 页 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.39365 [cs.CL] |
| （或 arXiv:2609.39365v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.39365 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Juseon Do [查看电子邮件]
[v1]
2026 年 9 月 30 日星期三 09:21:38 UTC（586 KB）
[v2]
2026 年 10 月 12 日星期一 05:01:31 UTC（586 KB）
来源：arXiv cs.AI · arxiv.org