arXiv cs.AI· Shriram Vasudevan, Videet Mehta, Connor Sweeney·· 1 天前AI 评分38
BABA-Bench：评估长程患者权益倡导智能体
BABA-Bench: Evaluating Long-Horizon Patient-Advocacy Agents
AI 导读
研究团队推出 BABA-Bench，一个由 47 个交互世界组成的基准，每个世界均基于经专家审核的去标识化真实患者权益倡导案例构建，用于检验 LLM 智能体能否在达成正确结果的同时遵守必要流程。
正文 · AI 翻译
摘要：帮助患者获得医疗服务的 LLM 智能体必须做到两件事。它必须达成正确的结果，并且必须遵循必要的流程。例如，智能体在共享患者记录之前必须获得患者的许可。我们推出了 BABA-Bench，一个包含 47 个交互式世界的基准。每个世界都基于一个去标识化的真实患者权益倡导案例构建，并由专家权益倡导者审核。在每个世界中，智能体必须找到隐藏信息，并协调保险公司、诊所、供应商、药房和社区组织。引擎会在智能体执行每个动作时进行检查。它会检查智能体是否拥有许可、是否有采取该动作的证据，以及该动作是否被禁止。我们评估了 14 个前沿模型，每个世界运行三次，总计 1,974 次运行。智能体经常通过无效路径达成正确结果。在达成所有必需结果的 921 次运行中，有 254 次（28%）未遵循必要流程。Claude Opus 5 在其 81.6% 的运行中达成了所有必需结果，但只有 52.5% 的运行通过了所有检查。当我们向两个模型提供一条经过验证的路径时，它们的通过率分别从 29.8% 提升到 91.5%，从 44.0% 提升到 97.2%。对于这些模型而言，主要问题在于找到路径，而非执行路径。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41076 [cs.AI] |
| （或 arXiv:2610.41076v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41076 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Videet Mehta [查看电子邮件]
[v1]
2026年10月29日 星期四 23:46:24 UTC（401 KB）
来源：arXiv cs.AI · arxiv.org