arXiv cs.CL· Anton Xue, Alan Li, Rahul Saha·· 2 天前AI 评分29
扩散语言模型的多目标少样本提示
Multi-Target Few-Shot Prompting with Diffusion Language Models
AI 导读
研究提出用扩散语言模型进行多目标少样本提示，让示例引导共享画布中多个掩码区域的填充，以解决因果自回归模型难以同时利用左右上下文的问题。团队还通过对画布选择性掩码推导似然比奖励，偏好有示例支持的填充结果。在少样本提示基准和软件重构案例中，示例提升了填充准确率，示例引导在多个设置下带来进一步增益。
正文 · AI 翻译
摘要：当指令和奖励难以明确指定时，少样本提示非常有用。其中一个应用场景是按示例编辑，即演示的格式更改或 API 迁移可能需要应用到多个位置。然而，此类编辑通常同时依赖左侧和右侧上下文，这使得使用因果自回归模型进行生成变得棘手。因此，我们引入了基于扩散语言模型的多目标少样本提示，其中示例引导在共享画布内对多个掩码区域进行填充。为了解决少样本提示中可靠遵循演示这一已知挑战，我们进一步利用画布的选择性掩码来推导出一个似然比奖励，以偏好由示例支持的填充。在少样本提示基准测试和软件重构案例研究中，我们发现演示提高了填充准确率，而示例引导在若干设置中带来了进一步的提升。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22294 [cs.CL] |
| （或 arXiv:2610.22294v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22294 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Anton Xue [查看电子邮件]
[v1]
2026年10月15日星期四 17:44:46 UTC（956 KB）
来源：arXiv cs.CL · arxiv.org