arXiv cs.CL· Bo Zou, Chao Xu·· 11 小时前AI 评分31
WORTH Benchmark：非完全协作信息下的证据发现——两集试点实验
WORTH Benchmark: Evidence Discovery under Not-Fully-Cooperative Information -- A Two-Episode Pilot
AI 导读
研究者提出 WORTH Benchmark，让模型在无线索标注的原创悬疑叙事中自主选取关键线索句、识别案件参与者并解释推理过程，两集共完成 70 次正式运行，其中 67 次可内容评分。
正文 · AI 翻译
摘要：现有的推理评测通常将任务相关信息作为可用前提提供给模型，很少同时考察模型如何自主发现证据，以及叙事中的信息呈现方式如何引导或遮蔽判断。本文提出 WORTH 基准：模型阅读不带线索标注的原始悬疑叙事，自主选择关键线索句，识别案件参与者，并解释其推理过程。叙事材料由专业作者设计，使有助于推理的证据与延迟真相揭示的叙事安排共存。我们报告了在两个剧集的全故事条件下进行的试点实验，共对模型进行 70 次正式运行，其中 67 次运行的内容可评分。评分分别记录对作者指定关键线索句的命中情况和参与者选择；自然语言解释用于案件诊断，不单独评分。结果表明，线索命中与参与者判断并不同步；在剧集 02 的 37 次内容可评分运行中，有 31 次运行同时选择了同一组错误参与者，而相邻的怀疑导向句和开脱导向句分别被选中 25 次和 0 次。这些现象说明了分组件分析的诊断价值，并表明不完全合作的信息关系可能影响证据选择和判断。本研究仅实现了两个剧集的全故事条件，未据此建立稳定的模型排名或推断一般机制；人类玩家记录尚未清理，本版本不报告人机对比。
| 评论： | 31 页。试点研究，两个剧集 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27597 [cs.CL] |
| （或 arXiv:2610.27597v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27597 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bo Zou [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 04:04:06 UTC（46 KB）
来源：arXiv cs.CL · arxiv.org