arXiv cs.CL· Mojdeh Rahmanian, Foutse Khomh, Ashkan Sami, Yanchao Yu·· 12 小时前AI 评分29
追踪 LLM 推理生成 UML 类图时的幻觉：一项实证分类与缓解研究
Tracing Hallucinations in LLM Reasoning for UML Class Diagram Generation: An Empirical Taxonomy and Mitigation Study
AI 导读
研究基于 60 条人工标注的 DeepSeek-R1 推理轨迹，构建了涵盖 Prompt Faithfulness、Code Faithfulness 与 Reasoning Quality 三个维度、共 11 个子类型的幻觉分类体系，并用于另外 120 条 DeepSeek-R1 轨迹和 20 条 DeepSeek-V4-Pro 轨迹。
正文 · AI 翻译
摘要：大型语言模型（LLM）能够根据自然语言需求生成 UML 类图，但幻觉可能损害所生成图的正确性和完整性。现有评估大多评估最终图，而未考察具备推理能力的 LLM 的中间推理轨迹，而这些轨迹可以揭示幻觉产生的位置。我们构建了一个经验性分类体系，包含 11 种幻觉子类型，归入三个维度：提示忠实性（需求与推理之间的偏差）、代码忠实性（推理与生成的 PlantUML 代码之间的差异）以及推理质量（推理内部的问题）。该分类体系源自 60 条人工标注的 DeepSeek-R1 轨迹，通过双 LLM 标注流水线应用于另外 120 条 DeepSeek-R1 轨迹，并在 20 条 DeepSeek-V4-Pro 轨迹上进行了考察。在两个数据集中，代码忠实性都是 DeepSeek-R1 出现最频繁的维度，而提示忠实性在 DeepSeek-V4-Pro 中占主导，表明失败模式具有模型依赖性。在人工标注的轨迹中，推理轨迹长度与幻觉频率之间未显示出显著的单调关联，而需求复杂度与其呈负相关，尤其是对提示忠实性错误而言。在一项针对 13 个 Golden UML ModelSet 案例、使用三个基于 Qwen3 的模型的缓解实验中，在生成提示中加入提示忠实性和推理质量约束使合并平均 F1 分数提高了 4.0 个百分点，而事后的代码忠实性审查未提供一致的进一步收益。关系建模始终是得分最低的元素。这些结果表明，在生成过程中定位幻觉可以为有针对性的、基于提示的缓解提供依据。这些发现能否推广到 DeepSeek 和 Qwen3 模型系列之外仍有待检验。
| 学科： | 软件工程（cs.SE）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30946 [cs.SE] |
| （或 arXiv:2610.30946v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30946 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mojdeh Rahmanian [查看电子邮件]
[v1]
2026年10月22日星期四 08:59:27 UTC（936 KB）
来源：arXiv cs.CL · arxiv.org