arXiv cs.CL· Zhe Xu, Mingfu Liang, Kavosh Asadi, Jean-Pascal Billaud, Tianyi Chen, Yanhui Guo, Christina Huang, Baekjin Kim, Jimmy Kim, Yufei Li, Daqi Sun, Jiachen Sun, Dian Yu, Zaiwei Zhang, Kaushik Rangadurai, Frank Shyu, Sandeep Pandey, Xi Liu, Luke Simon·· 2 天前AI 评分20
排列扩散 LLM 的设计空间探索
Exploring the Design Space of Permutation Diffusion LLMs
AI 导读
研究通过三种扩散 LLM 参数化方法解决排列生成问题：基于打乱候选索引序列的硬分配预测、基于双随机矩阵的软分配预测，以及直接预测排序分数后排序。在三个 Amazon 领域的推荐重排序任务（候选集大小 10 和 20）上，单次函数评估时硬分配和软分配变体的 Recall@1 与受限掩码扩散基线相当，而直接排序分数预测无需匈牙利算法或 Sinkhorn 归一化即可保证有效排列。
正文 · AI 翻译
作者：Zhe Xu、Mingfu Liang、Kavosh Asadi、Jean-Pascal Billaud、Tianyi Chen、Yanhui Guo、Christina Huang、Baekjin Kim、Jimmy Kim、Yufei Li、Daqi Sun、Jiachen Sun、Dian Yu、Zaiwei Zhang、Kaushik Rangadurai、Frank Shyu、Sandeep Pandey、Xi Liu、Luke Simon
摘要：使用语言模型进行排列生成，既需要基于文本条件的排序，也需要候选对象与输出位置之间的全局一对一分配。我们通过三种扩散 LLM 参数化来研究这一问题：对打乱的候选索引序列进行硬分配预测、对双随机矩阵进行软分配预测，以及直接预测排序分数后排序。这三类方法将排列约束置于预测和解码的不同阶段，因此支持不同的训练目标和采样过程。我们在三个 Amazon 领域、候选集大小为 10 和 20 的推荐重排序任务上评估了这些设计。在一次函数评估下，硬分配和软分配变体取得了与受约束的掩码扩散基线相当的 Recall@1，而直接排序分数预测无需匈牙利分配或 Sinkhorn 归一化即可保证有效排列。额外的函数评估并不能持续提升排序质量，其效果在很大程度上取决于状态表示和训练目标。这些结果表明，对于使用语言模型去噪器的排列扩散，损坏过程、预测参数化、目标和解码器应联合设计。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20635 [cs.CL] |
| （或本版本使用 arXiv:2610.20635v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.20635 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Zhe Xu [查看电子邮件]
[v1]
2026年10月1日星期四 03:39:40 UTC（472 KB）
来源：arXiv cs.CL · arxiv.org