arXiv cs.AI· Xiaoyang Wang, Tianrui Wang, Christopher C. Yang·· 10 天前AI 评分26
ProbeGuard：如何从医疗 LLM 共识形成过程实现可认证弃答
Unanimously Wrong: Certified Abstention from How Medical LLM Consensus Forms
AI 导读
ProbeGuard 是一个可认证弃答框架，依据共识如何形成而非最终一致状态来决定是否弃答。在 MedQA 上，13.4% 的全票一致答案是错的，且任何基于一致性的信号都无法标记它们；过程信号将正确与错误共识的区分度从随机水平提升至 0.696 AUROC。该认证规则在一致层问题上以 9.0% 的观测选择性风险回答了六成问题，积累域内校准数据后可覆盖九成。
正文 · AI 翻译
摘要：在临床实践中，独立专家之间的一致被视为可靠性的证据，多轮共识已成为智能体式医学问答系统的核心机制。当此类系统必须决定是否信任自己的答案时，主要信号同样是一致性，只不过此时是在采样答案之间的一致性。但一致性是正确性的脆弱代理。系统可能一致地出错，在每次采样中都返回相同的错误答案，而在这些问题上，基于一致性的信号不携带任何信息。原因在于，这些信号只读取共识的最终状态，而丢弃了达成共识的过程。通过用证据解决分歧而达成的一致，在最终看来，与因为每个样本都共享同一个误解而从第一个样本起就存在的一致完全相同。ProbeGuard 是一个经过认证的弃答框架，它将弃答决策建立在共识如何形成之上。过程特征追踪一致性轨迹、少数派持续性和检索饱和度。对于一致投票，理由语义熵检查投票背后的理由是否连贯，而主动探测则检索反证并衡量共识是否仍然成立。分层 Learn-then-Test 校准随后将这些分数转换为选择性风险的无分布界。我们在三个医学 QA 基准和一个困难前沿参考上，使用已发布的多轮智能体式 RAG 基座，针对六个弃答基线评估 ProbeGuard。在 MedQA 上，13.4% 的一致投票是错误的，而没有任何基于一致性的信号能够标记它们。过程信号将正确与错误共识的区分能力从随机水平提升到 0.696 AUROC。该认证规则以 9.0% 的观测选择性风险回答十分之六的一致层问题，而一旦域内校准数据积累起来，则可回答十分之九。
| 评论： | 已被 NeurIPS 2026 的 GenAI4Health Workshop 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07570 [cs.AI] |
| （或 arXiv:2610.07570v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07570 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Xiaoyang Wang [查看电子邮件]
[v1]
2026年10月6日星期二 00:59:31 UTC（387 KB）
来源：arXiv cs.AI · arxiv.org