arXiv cs.CL· Filippos Ventirozos, Tom Armitage, Mahmoud Oshagh, Peter A. Appleby, Matthew Shardlow·· 14 小时前AI 评分26
有用多样性还是幻觉多样性？面向电商搜索的 persona 条件化合成查询生成
Useful Diversity or Hallucinated Variety? Persona-Conditioned Synthetic Query Generation for E-Commerce Search
AI 导读
研究在 47 字段英国汽车电商 schema 上，用 6 个 LLM、9 组 persona 条件化提示词生成 118,098 条合成查询对，对照 1,214 条人工标注与 15,304 条生产查询。
正文 · AI 翻译
摘要：合成监督可以在新的搜索领域中引导语义解析器，但提示诱导的多样性只有在生成结果忠实于结构化意图时才有用。我们在冷启动电商搜索中对此进行了探索：在包含 47 个字段的英国汽车模式上，由 6 个 LLM 使用 9 个以人物设定为条件的提示族生成了 118,098 个合成对，并与 1,214 条人工标注查询和 15,304 条生产查询进行对比。我们表明，IPIP 人格组合在全部四个匹配对比中均提升了解析器 F1（Holm 校正后 $p<.001$），并且全部三个组合在完整的 $2^3$ 网格上均具有正向主效应。语法条件是将生成结果推向真实流量的轴。它还会诱导词汇多样性。对齐 sKL，即拟合到合成查询和人工标注查询的 von Mises-Fisher 分布之间的散度，是解析器 F1 的无标签代理（针对为模拟购物者场景编写的人工查询，$\rho=-0.917$，越低越接近）。一个 LLM 委员会，经与盲审作者审核对照，对所有解析器均漏掉的 927 条查询进行分类，并将 37% 标记为幻觉。被丢弃的约束占主导。四个带语法的族具有最大的幻觉占比，为 38% 至 42%，而仅 IPIP 的占比最低，为 28%。
| 评论： | 已被 IJCNLP-AACL 2026（Findings）接收。20 页，2 幅图，16 张表 |
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| ACM 分类： | I.2.7；H.3.3 |
| 引用为： | arXiv:2610.35102 [cs.CL] |
| （或 arXiv:2610.35102v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35102 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Filippos Ventirozos [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 09:43:29 UTC（121 KB）
来源：arXiv cs.CL · arxiv.org