arXiv cs.CL· Evanfiya Logacheva, Arto Hellas, Tsvetomila Mihaylova, Juha Sorva, Ava Heinonen, Juho Leinonen·· 10 小时前AI 评分29
基于话语相似度的上下文学习如何影响图表代码生成的忠实度与质量
In-Context Learning for Diagram Code Generation: What is the Effect on Faithfulness and Quality?
AI 导读
研究发现，用"话语分析到图表"示例的非常规 ICL 方法可将图表生成的上下文忠实度幻觉几率降低近 70%，但 ICL 对图表美观呈现和表层连贯性无显著影响。G-Eval 评测显示该新任务格式下完美忠实度结果的几率提升近 4.5 倍。研究对比了零样本指令生成与基于话语相似度示例的 ICL 方法，采用人工与自动双重评估。
正文 · AI 翻译
摘要：我们研究了基于语篇相似性提供上下文示例如何影响从教育材料生成图表代码的质量与幻觉。以一组文本作为图表生成的来源，我们测试了两种使用传统文本到图表任务格式的方法——基于指令的零样本生成和使用文本到图表示例的 ICL，以及一种非常规的 ICL 方法——使用语篇分析到图表示例，该方法要求模型根据语篇分析生成图表。我们使用人工和自动评估来评估 AI 生成的图表对所提供的上下文的忠实度及其质量结果。对人工图表评估的贝叶斯数据分析表明，有显著证据表明，与零样本指令相比，非常规任务格式提高了图表生成中的上下文忠实度，将上下文忠实度幻觉的几率降低了近 $70\%$；然而，我们没有发现 ICL 对图表美学呈现和表层连贯性有显著影响。使用 LLM-as-a-judge G-Eval 指标进行的评估显示，对于这种新颖的 ICL 任务，获得完美忠实度结果的几率增加了近 4.5 倍。我们的研究为 ICL 格式对基于上下文的结构化图表代码生成中的表层流畅性和忠实度的影响提供了新的见解。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2601.20476 [cs.CL] |
| （或 arXiv:2601.20476v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.20476 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Evanfiya Logacheva [查看电子邮件]
[v1]
2026 年 1 月 28 日星期三 10:45:28 UTC（1,034 KB）
[v2]
2026 年 8 月 21 日星期五 14:06:11 UTC（888 KB）
[v3]
2026 年 11 月 4 日星期三 14:33:42 UTC（8,532 KB）
来源：arXiv cs.CL · arxiv.org