arXiv cs.CL· Meysam Sabbaghan, Doina Caragea·· 12 小时前AI 评分23
B-CARE：面向立场错误排序的盲式逐类相对证据评估框架
B-CARE: Blind Classwise Assessment of Relative Evidence for Stance Error Ranking
AI 导读
B-CARE 是一个预测盲的立场分类错误排序框架，仅凭目标与文本，由固定 LLM 验证器为所有候选立场标签打序数证据分，不查看基座模型的预测或置信度。在四个立场基准、三个异构基座 LLM 共 12 组设置、5,206 条测试实例上，B-CARE 平均 AUROC 为 0.735、AUPRC 为 0.524，在风险最高的 20% 预测中捕获 41.06% 的错误。
正文 · AI 翻译
摘要：立场分类器产生的错误在有限的人工审核预算下可能代价高昂。优先处理可能不正确的预测仍然具有挑战性，尤其是在异构基础模型之间。我们提出 B-CARE（Blind Classwise Assessment of Relative Evidence for Stance Error Ranking，立场错误排序的相对证据盲类评估），这是一个用于识别高风险立场预测的预测盲框架。仅给定目标和文本，固定的 LLM 验证器在不观察基础模型预测或置信度的情况下，为所有候选立场标签分配有序证据分数。B-CARE 通过将最强的替代类别证据与支持预测类别的证据进行对比，构建比较风险分数。所得的按类别证据画像可在多个基础模型间复用，无需训练单独的错误检测器或校准风险分数。我们在四个立场基准和三个异构基础 LLM 上评估 B-CARE，涵盖 12 个数据集-模型设置和 5,206 个唯一测试实例。评估包括错误排序区分度（AUROC 和 AUPRC）、选择性预测（E-AURC）和审核有效性（固定审核预算下的 ErrorCapture）。B-CARE 达到平均 AUROC 0.735 和平均 AUPRC 0.524，在最高风险 20% 的预测中捕获了 41.06% 的错误。尽管 B-CARE 并未在所有情况下都优于强大的基于置信度的基线，但它提供了一种可复用的、互补的证据信号，用于在异构模型间优先处理可能不正确的立场预测。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29350 [cs.CL] |
| （或 arXiv:2610.29350v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29350 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Meysam Sabbaghan [查看电子邮件]
[v1]
2026年10月21日星期三 07:43:27 UTC（7,953 KB）
来源：arXiv cs.CL · arxiv.org