arXiv cs.AI· Niklas Wagner, Alexander M\"adche·· 11 小时前AI 评分31
面向不完美提示词的设计：基于知识图谱的 LLM 企业数据助手仿真评估
Designing for Imperfect Prompts: A Simulation-Based Evaluation of an LLM-Based Enterprise Data Assistant Using Knowledge Graphs
AI 导读
针对企业用户常提出含领域术语、缺少 schema 引用的不完美提示词，该研究设计并评估了两种语义中介方案：基于语义相似度的 schema 中介与基于数据湖自动构建知识图谱的中介。
正文 · AI 翻译
摘要：使用大语言模型（LLM）的企业数据助手有望在组织中实现数据访问的民主化。然而，在我们于某行业合作伙伴 CFO 部门数据湖中的真实部署中，我们观察到业务用户经常提出不完善的提示词，其中包含领域特定词汇，且缺少模式引用或结构信息。本设计科学研究考察了使用语义中介层的自动解析。我们设计并评估了两种设计变体：基于语义相似度的模式中介，以及利用从数据湖自动构建的知识图谱的知识图谱中介。我们使用真实数据进行的基于仿真的评估，辅以 LLM-as-a-Judge 评估和人工验证，表明基于知识图谱的中介在精确率、召回率、F1 和保留用户意图方面优于基于模式的方法。我们提出了基于知识图谱的中介的设计原则，证明结构化知识表示能够弥合用户意图与数据库结构之间的差距，并指导面向不同技能水平的企业数据助手设计。
| 评论： | 发表于第 34 届欧洲信息系统会议（ECIS 2026）论文集 |
| 主题： | 人机交互（cs.HC）；人工智能（cs.AI）；数据库（cs.DB） |
| 引用为： | arXiv:2610.23304 [cs.HC] |
| （或 arXiv:2610.23304v1 [cs.HC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23304 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | 第 34 届欧洲信息系统会议（ECIS 2026）论文集，5 |
提交历史
来自：Niklas Wagner [查看电子邮件]
[v1]
2026 年 10 月 16 日星期五 11:07:04 UTC（2,039 KB）
来源：arXiv cs.AI · arxiv.org