arXiv cs.CL· Zaynab Merimi, Noussayba El Marrakchi, Arthur Satouf·· 12 小时前AI 评分31
扩散语言模型在表格到文本生成中的忠实性诊断研究
A Diagnostic Study of Faithfulness in Diffusion Language Models for Table-to-Text Generation
AI 导读
研究在 ToTTo 表格到文本任务上对比掩码扩散模型 MDLM、LLaDA 与自回归基线 GPT-2、GPT-Neo，发现参考相似度与源忠实度会脱钩：LLaDA 增加示例后 BLEU 从 11.3 升至 22.0，但针对源表格的 NLI 蕴含分数从 0.78 降至 0.52。
正文 · AI 翻译
摘要：扩散语言模型通过在双向注意力下对掩码序列进行迭代去噪来生成，而不像自回归解码那样严格从左到右逐词确定。这种差异是否会影响它们可靠地保持对结构化输入的忠实度，目前基本尚未被探索。我们在使用 ToTTo 的表格到文本生成中研究这一问题，其中高亮的源单元格使事实忠实度可以直接检验。我们在相同的基于检索的少样本协议下，将掩码扩散模型 MDLM 和 LLaDA 与 GPT-2 和 GPT-Neo 进行比较，并加入一个经 QLoRA 适配的 LLaDA，同时将参考相似度和源忠实度作为两个独立的维度进行评分。两者出现背离。在 LLaDA 内部，增加示例使 BLEU 从 11.3 提升到 22.0，而针对源表格的 NLI 蕴含度从 0.78 下降到 0.52；QLoRA 达到本研究最高的 BLEU，24.15，但忠实度并未因此更好。人工标注显示失败模式在性质上有所不同：自回归基线倾向于偏离表格，而基于 LLaDA 的模型更常保持主题相关但替换掉个别实体。仅靠基于参考的指标不足以评估表格到文本生成中的忠实性。
| 评论： | 9 页，包括参考文献和附录。关于表格到文本生成中源忠实度的诊断性研究 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.29602 [cs.CL] |
| （或 arXiv:2610.29602v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29602 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Noussayba El Marrakchi [查看电子邮件]
[v1]
2026年10月21日星期三 11:42:19 UTC（32 KB）
来源：arXiv cs.CL · arxiv.org