arXiv cs.CL· Ravil Mussabayev, Saveliy Zavertyaev, Dmitriy Parpulov, Andrey Savchenko·· 12 小时前AI 评分38
SIT-Eval：基于情境的对话智能体逐轮交互评估框架
SIT-Eval: Situation-Based Interactive Turn-by-Turn Evaluation of Conversational Agents
AI 导读
SIT-Eval 是一个可调节的对话智能体评估框架，将期望行为形式化为“若情境为 P，则遵循规则 Q”的情境规则，由 LLM 对话方在每轮对话中执行均匀采样的情境，再由上下文感知的 LLM 裁判依据所有条件适用的规则评分。在 1292 个对话轮次上评测 8 个 LLM 发现，总体得分相近的模型在单条规则遵循度上差异很大，所有模型在歧义澄清与苏格拉底式提问上表现最差。
正文 · AI 翻译
摘要：对话式 AI 智能体的快速普及，要求评估方法能够利用多种情境标准，评估其在多样化对话场景中的表现，因为恰当的行为取决于上下文并涵盖多个方面。现有的对话基准通常使用静态的自然对话，这无法充分代表罕见情境——这是一个关键的安全缺口，因为低概率事件在生产规模下会频繁演变为故障。然而，有限的样本量迫使人们做出选择：要么保留自然对话以维持真实性，要么转向自适应情境采样，以实现全面且统计上可靠的覆盖。我们提出 SIT-Eval，一个用于评估基于情境的对话式智能体的可调框架。我们将智能体的期望行为形式化为情境规则：若情境为 P，则遵循规则 Q。在每一轮对话中，一个 LLM 对话者会执行一个均匀采样的情境。一个上下文感知的 LLM 评判器利用所有条件适用的规则作为标准，来评估智能体在该情境下的回复。该评判器使用经人工验证的合成黄金对话进行验证。在 1292 轮对话上对 8 个 LLM 进行基准测试，揭示了被聚合指标所掩盖的失效模式：总体得分相近的模型在遵循单条规则方面差异很大。所有模型在歧义澄清和苏格拉底式提问方面最为吃力。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.23612 [cs.CL] |
| （或 arXiv:2610.23612v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23612 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ravil Mussabayev [查看电子邮件]
[v1]
2026年10月16日星期五 15:24:02 UTC（759 KB）
来源：arXiv cs.CL · arxiv.org