arXiv cs.CL· Sayan Ghosh, Shahzaib Saqib Warraich, Dhruv Tarsadiya, Gregory Yauney, Swabha Swayamdipta·· 11 小时前AI 评分34
ConGrs：用共识图合成语言模型多次采样的长文本回答
Sample, Align, Synthesize: Graph-Based Response Synthesis with ConGrs
AI 导读
研究者提出 Consensus Graphs（ConGrs），一种基于 DAG 的数据结构，用轻量级词法序列对齐算法加少量 LM judge 表示同一提示词下多次采样回答的共享信息与语义差异。
正文 · AI 翻译
摘要：语言模型可以被多次采样，以获取其响应背后的分布，但现有方法无法高效地综合不同长文本响应中的丰富认知信号。我们引入共识图（Consensus Graphs，ConGrs），这是一种灵活的基于 DAG 的数据结构，用于表示对同一提示采样得到的一组 LM 响应中的共享信息以及语义变化。我们使用来自生物信息学的轻量级词汇序列比对算法构建 ConGrs，并辅以对次级 LM 评判器的针对性使用。此外，我们设计了依赖任务的解码方法，从我们的 ConGr 数据结构中综合出单一的最终响应。我们的实验表明，从 ConGrs 综合响应在两项传记生成任务上将事实精确度相比平均响应提升高达 31%，并且与其他方法相比，对 LM 评判器的依赖减少超过 80%。我们还将 ConGrs 用于三项基于拒答的任务，这些任务要求对无法回答的查询弃答，并发现弃答率提升高达 56%。我们将该方法应用于 MATH 和 AIME 推理任务，发现相比自我验证和多数投票基线，准确率提升高达 6 分。我们表明，ConGrs 提供了一种灵活的方法来捕捉 LM 响应的变化，并利用响应变化所提供的认知信号来综合出更有效的响应。
| 评论： | 发表于 COLM 2026 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2510.03527 [cs.CL] |
| （或 arXiv:2510.03527v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2510.03527 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sayan Ghosh [查看邮箱]
[v1]
2025年10月3日星期五 21:50:08 UTC（555 KB）
[v2]
2026年10月15日星期四 22:47:08 UTC（546 KB）
来源：arXiv cs.CL · arxiv.org