arXiv cs.AI· Kainan Zhou, Zhaoyi Li, Janet Sung, Gangzhen Qian, Hang Xiao·· 6 天前AI 评分22
IBBench-Light：面向外部指令的任务条件响应配对评估
IBBench-Light: A Paired Evaluation of Task-Conditioned Responses to External Directives
AI 导读
IBBench-Light 用同一份外部记录同时测试"执行程序"与"处理文本"两种用法，12 个语义基座生成 144 组配对，4 个量化指令模型产出 1,152 条贪心响应。
正文 · AI 翻译
摘要：外部记录可能包含要应用的流程或要阅读的文本，具体取决于用户的请求。IBBench-Light 针对同一记录测试这两种用途。十二个语义基础为每个模型产生 144 个匹配对；四个量化指令模型产生了 1,152 个存档的贪婪响应。配对精确契约准确率（PECA）要求两个成员都满足其输出契约。Qwen 在 132 个执行提示和 109 个处理提示上成功，但只有 97 个完整配对，这显示了边际平均值所忽略的内容。我们审计了字面目标暴露和大小写规范化，然后添加了 1,722 个记录的 CPU 生成，以测试无指令对照、十二个额外的语义基础、基础内措辞变化和生成停止。在固定的 Phi 重跑中，更改序列结束（EOS）集合将精确配对成功率从 0/144 变为 62/144。有界的 IHEval 比较使用相同的 SmolLM2 检查点和输出预算，同时保留其已发布的指令角色和评分器。该基准衡量条件任务和输出契约的成功。其任务边际和配对计数需要与停止策略一起解读。
| 评论： | 6 页，2 幅图，5 张表。被 IEEE ACAIT 2026 接收。作者接受稿。可复现性工件：此 https URL |
| 主题： | 人工智能（cs.AI）；计算机科学中的逻辑（cs.LO） |
| 引用为： | arXiv:2609.13725 [cs.AI] |
| （或 arXiv:2609.13725v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.13725 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Kainan Zhou [查看电子邮件]
[v1]
2026 年 9 月 12 日星期六 05:27:20 UTC（108 KB）
[v2]
2026 年 9 月 30 日星期三 23:59:14 UTC（162 KB）
[v3]
2026 年 10 月 9 日星期五 04:54:13 UTC（162 KB）
来源：arXiv cs.AI · arxiv.org