arXiv cs.AI· Tianyou Lai, Wentao Yue, Zhiying Deng, Qilei Li·· 3 天前AI 评分28
Choice2Seq：衡量模型在序列构建中正确性保留的基准
Correct Choices, Failed Sequences: Choice2Seq Benchmarks Correctness Retention Across Output Interfaces
AI 导读
研究者提出诊断基准 Choice2Seq，用序列组合率（SCR）衡量模型在完整答案选择与逐步序列构建之间的正确性保留。Jev 在算术和词汇检索上选择准确率达 97.1% 和 99.5%，但在序列构建下仅保留 33.0% 和 2.1% 的正确选择，StartLux 和 Qwen 也存在明显差距。将局部选项限制为候选支持的字符可改善构建，显式位置索引可提升复制保真度。
正文 · AI 翻译
摘要：模型可能选出正确答案，却无法通过一系列局部决策将其构造出来。我们提出 Choice2Seq，这是一个诊断性基准，通过在相同问题和候选集上的独立运行，衡量完整答案选择与顺序构造过程中的正确性保持情况。序列组合率（SCR）衡量的是在局部构造中同样被正确回答的正确选择项所占比例。Jev 在算术和词汇检索上的选择准确率分别达到 97.1% 和 99.5%，但在串行构造下，这些正确选择中分别仅有 33.0% 和 2.1% 得以保持。StartLux 和 Qwen 也出现了显著差距，包括 Qwen 直接输出字符的情况。将局部选项限制为候选支持的字符可改善构造，而显式位置索引可提高复制保真度，即使对于错误选择也是如此。这些干预区分了任务正确性、计划保真度和输出合规性。匹配的对话状态评估表明，局部字段构造在很大程度上保留了 Jev 的正确状态，但降低了 Qwen 的平均轮次准确率，凸显了任务和界面相关的差异。序列级置信度和请求成本分析进一步刻画了已完成的输出。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16191 [cs.AI] |
| （或 arXiv:2610.16191v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16191 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tianyou Lai [查看电子邮件]
[v1]
2026年10月12日星期一 05:11:37 UTC（947 KB）
来源：arXiv cs.AI · arxiv.org