arXiv cs.AI· Humza Nusrat, Kundan Thind·· 12 小时前AI 评分42
OpenGray：评估放疗规划智能体决策能力的基准
OpenGray: a benchmark for evaluating the decisions of radiotherapy planning agents
AI 导读
研究团队构建了 OpenGray 基准，在 OpenKBP-Opt 头颈数据集上加入已知正确答案的规划任务，用于评估 LLM 放疗规划智能体的决策。在 30 名患者上测试四个系统，使用 Terra 时 LLM 审查加脚本与完整智能体的决策准确率分别为 95.4% 和 92.1%，但对需要解剖学算术的重叠矛盾仅升级 50% 和 25%。
正文 · AI 翻译
摘要：背景与目的：基于大语言模型（LLM）的放疗计划智能体决定何时提交计划或请求审核，但主要按剂量进行评估。本研究开发了 OpenGray，这是一个包含已知正确决策的计划任务基准。材料与方法：OpenGray 在 OpenKBP-Opt 头颈数据集上增加了具有已知答案的任务，包括两个与剂量目标相矛盾且已证明不可兼容的任务，以及一个可行的对照任务，其存储的计划满足所有硬性目标。四个系统（从基于规则的计划脚本到完整的 LLM 智能体）在 30 名患者上进行了评估，其中基于 LLM 的系统分别使用商业 LLM（Terra）和本地 LLM（Ministral 3 8B）。记录了决策、达到的剂量、问题识别和技术故障，并从临床 LLM 智能体 SAGE 的 39 次立体定向放射外科运行日志中读取了相关信息。结果：使用 Terra 时，经 LLM 审核的脚本和完整智能体的决策准确率分别为 95.4% 和 92.1%，但仅对 50%（95% 置信区间，25-75%）和 25%（10-40%）的重叠矛盾进行了升级处理，这需要对解剖结构进行算术运算。所有四个系统都提交了每个可行对照，但其中 24% 的计划未达到存储计划已满足的硬性目标。在四次 SAGE 运行中，有一个目标在每次尝试中都失败；智能体在每次回复中都识别出了该目标，但没有停止的动作。结论：良好的总体评分掩盖了具体的决策失败。计划智能体应同时根据其决策和剂量进行评估，并为其提供明确的停止和请求审核动作。
| 评论： | 25 页，4 幅图，1 张表，以及补充材料（19 张表，5 幅图）。辅助文件：Markdown 格式的论文、包含每句来源的结构化结果，以及供 AI 智能体使用的 this http URL 索引 |
| 主题： | 人工智能（cs.AI）；医学物理（physics.med-ph） |
| 引用为： | arXiv:2610.37081 [cs.AI] |
| （或 arXiv:2610.37081v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37081 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Humza Nusrat [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 11:42:47 UTC（1,682 KB）
来源：arXiv cs.AI · arxiv.org