arXiv cs.CL· Rafal Kocielnik, J. Everett Knudsen, Steven Y. Cen, Jasmine Lin, Cherine H. Yang, Atharva Deo, Ujjwal Pasupulety, Peter Wager, Anima Anandkumar, Andrew J. Hung·· 11 小时前AI 评分26
多实例 LLM 框架用于评估外科手术反馈质量
A Multi-Instance LLM Framework for Rating the Quality of Surgical Feedback
AI 导读
研究提出一个两阶段 LLM 框架，通过多实例提示反复独立采样候选标准并整合，结合外科领域知识注入，自动发现 Encouragement、Urgency、Clarity 等可解释的反馈质量评分标准，再用 LLM-as-a-judge 对术中反馈打分。在 4.2k 条带教反馈实例上，AI 发现的标准在预测反馈有效性（包括学员行为调整与带教者认可）上优于以往基于内容的框架。
正文 · AI 翻译
摘要：主刀医生在手术室中给出的口头反馈，对住院医师学员的技能习得起着关键的培养作用。然而，评估培训者反馈的质量及其在实时手术中影响学员行为的有效性仍是一项挑战。此前的研究依赖专家人工评分者进行大量手动标注来评估反馈内容，并侧重于开发宽泛的分类体系，忽视了反馈传达的定性方面，如清晰度或紧迫性。现有的自动化方法（包括关键词分析和主题建模）也未能捕捉这些细微之处。我们提出一个基于 LLM 的两阶段框架，可在手术培训情境中发现可解释的反馈质量准则。我们的方法通过重复独立采样候选准则并进行整合的多实例提示，以及注入外科领域知识，来发现一小组人类可解释的评分准则（例如：鼓励、紧迫性、清晰度）。随后，这些准则通过 LLM-as-a-judge 方法用于自动评分实时手术反馈。在 4.2k 条培训者反馈实例上的评估表明，我们由 AI 发现的准则在预测反馈有效性方面优于此前基于内容的框架，包括观察到的学员行为调整和培训者认可。这项工作推进了手术室中可扩展、与人类对齐的沟通质量评估，并为改进外科教学实践奠定了基础。
| Comments: | 38 页，6 幅图（正文 1-3 幅，附录 D1、D2、E1）和 14 张表 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；多智能体系统（cs.MA） |
| MSC classes: | 68T50 |
| ACM classes: | I.2.7; J.3; K.3.1 |
| Cite as: | arXiv:2605.25440 [cs.CL] |
| （或本版本使用 arXiv:2605.25440v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2605.25440 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Rafal Kocielnik [查看邮箱]
[v1]
2026 年 5 月 25 日星期一 05:31:44 UTC（3,415 KB）
[v2]
2026 年 10 月 31 日星期六 01:14:00 UTC（2,748 KB）
来源：arXiv cs.CL · arxiv.org