Gap Detection：通过需求与可防御性缓解语言模型同质化

查看 PDF HTML（实验性）

摘要：语言模型对开放式问题往往给出语义相似的答案，即使存在许多合理的替代答案。生成有用的替代答案需要同时识别查询所要求的内容以及现有回答已经覆盖的内容。我们提出 Gap Detection，一个在共享文本嵌入空间中搜索相关但未被占据的方向的框架。其目标 GapScore 将查询相关性（Demand）与与最近现有项的不相似度（Defensibility）相结合。该框架在单位球面上优化这一乘积，用语言模型将候选方向映射为概念词，并使用任务特定的过滤和受限提示将这些概念转化为文本。在五个精选主题和 90 个 INFINITY-CHAT 查询上，报告的输出 Collision 平均相对降低分别为 12.8% 和 10.8%。我们还将该框架实例化用于四个产品市场上的生成引擎优化以及迭代式合成数据增强。在后一种设置中，每种方法使用 100 个训练样本，Gap Detection 相对于无向累积将 Collision 从 0.324 降至 0.298，并将 Vendi Score 从 27.16 提高到 29.20；在 40 个样本的测试集上，准确率差异为一个样本。组件消融实验揭示了语义分离与相关性之间的权衡，同时也表明更好的方向得分并不一致地带来更好的下游指标。这些结果支持将显式差距搜索作为内容多样化的实用机制，其任务有效性需与几何新颖性分开检验。

评论：	24 页；提交至 ICLR 2027，正在审稿中
主题：	计算与语言（cs.CL）；机器学习（cs.LG）
引用为：	arXiv:2610.20162 [cs.CL]
	（或 arXiv:2610.20162v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.20162 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Xucheng Yu [查看邮箱]
[v1] 2026年10月14日星期三 13:16:03 UTC（930 KB）