arXiv cs.CL· Linqi Zhang, Chong Qi, Yan Cheng, Wanqing Cao, Yu Liu, Chenwei Lin, Xian Xu·· 10 天前AI 评分27
InsClaimBench：面向保险理赔裁决全决策链的基准测试
InsClaimBench: Benchmarking Insurance Claim Adjudication Across the Decision Chain
AI 导读
InsClaimBench 是覆盖汽车、财产和健康保险理赔裁决全决策链的端到端基准，包含 375 个案件族共 3,780 个案件、86,656 条原子规则判断。
正文 · AI 翻译
摘要：近期面向推理的大型语言模型（LLM）的进展，推动了对其执行专业决策任务能力的评估日益增多。保险理赔裁定就是此类任务之一，要求模型在结构化决策过程中连接案件证据、保险规则、中间判断和赔付计算。我们提出 InsClaimBench，一个用于评估保险理赔裁定全决策链的端到端基准。InsClaimBench 以真实理赔材料和结构化保险规则为基础，包含汽车、财产和健康保险领域的 375 个案件族共 3,780 个案件，涵盖 86,656 条原子规则判断。它从原子规则到裁定模块再到赔付决策和金额，对每项理赔进行评估，并通过受控的事实变体测试所需变更是否在各层级间正确传播。对六个 LLM 的评估揭示了沿决策链可靠性的逐步下降。赔付决策准确率范围为 74.23--80.19%，而联合决策--金额准确率降至 47.54--73.15%。强大的局部表现也无法确保案件级正确性：原子规则准确率达到 95.48%，而规则向量完全匹配最高仅为 36.90%，且最频繁的模块错误未必与最终决策失败最相关。在事实变化下，这些不一致进一步成为传播失败：模块更新不如规则更新可靠，正确的局部判断仍可能产生错误的赔付，而正确的赔付可能掩盖中间错误。这些结果表明，可靠的理赔裁定需要在决策链上保持一致组合与传播。
| 评论： | 17 页，3 幅图，11 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.09671 [cs.CL] |
| （或 arXiv:2610.09671v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09671 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chenwei Lin [查看电子邮件]
[v1]
2026年10月7日星期三 08:35:23 UTC（449 KB）
来源：arXiv cs.CL · arxiv.org