arXiv cs.CL· Caixin Kang, Ke Wang, Yuchuan Wu, Xiaoqiang Wang, Ling Li, Bingxue Qiu, Yongbin Li, Yoichi Sato·· 3 天前AI 评分25
HICO-Bench：什么让社交智能体的交互真正有效？从配对世界中的可验证结果学习
What Makes a Social Agent's Interactions Effective? Learning from Verifiable Outcomes in Paired Worlds
AI 导读
研究者提出 HICO-Bench，包含 180 个日常协调场景，两个持有私有信息的智能体对话后各自记录商定计划，由程序检查 Feasibility、LLM 评判 Integrity，两者同时通过才算 Verified Success。
正文 · AI 翻译
摘要：有效的社交互动不仅仅需要流畅的回应：智能体必须达成符合参与者需求和情况的计划。现有的社交智能体评估主要依赖 LLM 评判者来对对话进行评分，而不检查最终形成的计划。我们提出了 HICO-Bench，一个包含 180 个日常协调场景的基准测试，例如资源分配、日程安排和授权，其中两个拥有私有信息的智能体进行对话，然后各自独立记录他们商定的计划。一个程序检查可行性（两份记录一致且满足双方的私有条件），一个 LLM 评判者检查完整性（对话支持所记录的计划）；两者都通过即为验证成功。每个场景有两个版本，它们共享相同的公开上下文，但在一个私有条件上有所不同，因此正确的计划在两者之间也不同。在十三个 LLM 中，36% 在目标完成度上获得高评分的对话未能通过验证成功。为了从仅在对话结束时才出现的结果中学习，我们提出了配对信用策略优化（PaCPO）。在每一轮之后，PaCPO 要求智能体给出一个暂定计划，在场景的两个版本中检查它，并对暂定计划分别符合各自版本的那些轮次给予奖励。PaCPO 将 Qwen3-8B 的验证成功率从 20.4% 提升到 28.3%。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；社会与信息网络（cs.SI） |
| 引用为： | arXiv:2610.20195 [cs.CL] |
| （或 arXiv:2610.20195v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20195 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Caixin Kang [查看电子邮件]
[v1]
2026年10月14日星期三 13:44:30 UTC（1,174 KB）
来源：arXiv cs.CL · arxiv.org