arXiv cs.CL· Arvind Raghavan, Inwoo Hwang, Shreyas Havaldar, Kai-Zhan Lee, Aurghya Maiti, Yushu Pan, Jeffrey Wu, Mingxuan Li, Elias Bareinboim·· 6 天前AI 评分29
CoBe：对话式反事实文本编辑基准
CoBe: A Benchmark For Conversational Counterfactual Text Editing
AI 导读
研究者提出 CoBe，一个测试模型零样本反事实文本编辑能力的基准，包含覆盖医疗、科学与工程、商业及日常场景的 2000 道问题。前沿模型平均得分仅 58.05%，且模型常退化为关联性生成而非保留原场景的因果结构。性能不随模型规模或输出 token 长度稳定提升，失败或源于训练目标而非模型容量不足。
正文 · AI 翻译
摘要：反事实文本编辑是指根据假设性变化修改给定文本，同时保留不受该变化因果影响的事实的能力。当被问及如果医生没有建议手术会发生什么时，模型输出应保留患者的病史，仅修改该决定带来的后果。这需要因果理解：模型必须在不被明确指示的情况下，判断哪些事件受假设性变化影响、哪些应保持不变。这一能力是人类推理的核心，在医疗或法律等安全关键领域尤为重要。相比之下，关联性文本生成任务只是生成与改变后条件在统计上相关的文本。在医疗示例中，关联性回答可能会使患者症状减轻，因为较轻的病例与不进行手术相关。此类回答产生了一个看似合理的场景，但并非给定场景的反事实版本。此前的反事实文本数据集未能清晰区分这些推理模式。我们提出了反事实基准（CoBe），这是一个测试平台，用于评估模型在以对话自然的方式被提示时，对给定文本场景进行反事实编辑的零样本能力。CoBe 包含 2000 个问题，涵盖医疗、科学与工程、商业以及日常场景。我们测试了一系列前沿模型和较小模型，前沿系统平均得分为 $58.05\%$。我们的发现表明，模型经常默认采用关联性生成，而非保留原始场景的因果结构。此外，性能并不随模型规模或输出 token 长度一致地扩展，这表明该失败可能反映的是模型训练目标，而非模型容量不足。
| Comments: | accepted to NeurIPS'26 workshops on Trustworthy AI For Good (AI4GOOD) and Trustworthy AI Evaluations (TAE) |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；新兴技术（cs.ET）；机器学习（cs.LG） |
| ACM classes: | I.2.7; I.2.4 |
| Report number: | Causal AI lab TR-150 |
| Cite as: | arXiv:2610.13057 [cs.CL] |
| （或 arXiv:2610.13057v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13057 arXiv 通过 DataCite 颁发的 DOI（待注册） |
Submission history
来自：Arvind Raghavan [查看电子邮件]
[v1]
2026年10月9日星期五 06:11:12 UTC（2,452 KB）
来源：arXiv cs.CL · arxiv.org