arXiv cs.AI· Ting Yang, Zijing Hong, Chengjie Wang, Peng Wei, Chunxiao Guo, Yun Yue, Xurui Li, Jinqun Guan, Zixiao Chen, Ant Group·· 4 小时前AI 评分31
HealthCLBench:用受控病例簇评估健康对话中的上下文学习
HealthCLBench:Evaluating Context Learning in Health Conversations through Controlled Case Clusters
AI 导读
HealthCLBench 是面向中文健康对话的上下文学习基准,包含 328 个受控病例簇、1,103 个病例和 4,931 条评分标准,覆盖医疗咨询与日常健康管理。
正文 · AI 翻译
摘要:复杂的健康对话需要基于个人信息和当前有效证据的答案。我们评估健康上下文学习:在推理过程中以固定模型参数获取、整合并应用相关上下文,以回答健康问题,并对事实、证据或任务目标的变化做出恰当响应。据我们所知,中文医学基准尚未系统性地结合显式上下文困难、受控病例变体和成员特定医学标准来评估开放式答案。我们推出 HealthCLBench,涵盖医疗咨询和日常健康管理领域的 328 个受控集群、1,103 个病例和 4,931 条评分标准。成员共享背景,而证据、患者状态或任务目标发生变化;每个成员都有各自的医学评分要求。一个 70 人医学团队对模拟病例及其评分标准进行标注和审核。对原始评估中 700 条完整上下文回答进行人工审核,在评分项层面与原始自动判定达到 90.5% 的合并一致率。我们报告了七个通用模型和 Ant Afu 的完整上下文与仅查询结果。在八个系统中,完整与查询差异范围为 11.83 至 31.76 个病例分,以及 10.87 至 38.97 个几何集群分。GPT-6-Astra 以 75.03 和 60.42 在两项完整上下文指标上领先,其次是 Claude-Opus-5-5 和 Ant Afu。跨条件差异描述在报告评估设置下的分数变化。回答比较揭示了在核查历史信息、在必要时表达不确定性,以及确保建议符合所需条件方面的失败。该资源支持模型比较和有针对性的后续评估。
| 评论: | 33 页,7 幅图,18 张表 |
| 主题: | 人工智能(cs.AI) |
| MSC 分类号: | 68T05, 68T50 |
| ACM 分类号: | I.2.7; I.2.1 |
| 引用为: | arXiv:2611.22362 [cs.AI] |
| (或 arXiv:2611.22362v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22362 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Ting Yang Tommy [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 08:18:04 UTC(1,744 KB)
来源:arXiv cs.AI · arxiv.org