arXiv cs.CL· Tja\v{s} Ajdovec, Marko Robnik-\v{S}ikonja, Simon \v{S}uster·· 9 天前AI 评分24
用大语言模型检测临床试验中的 Spin
Detecting Spin in Clinical Trials with Large Language Models
AI 导读
研究团队用 300 对带语义相似度标注的结局数据，开发出自动检测结局替换（outcome switching）的系统，结合提示词工程、基于 token 概率的分类和多数投票决策。在 2,496 个测试样本上取得 F1 0.78、准确率 0.90，优于基线文本相似度模型，但落后于微调版 BERT。团队还用 LLM 为分类实例生成自然语言解释并人工评估其质量。
正文 · AI 翻译
摘要：临床试验中的 spin 包括扭曲结果呈现的报告做法。这在医学领域尤为关键，因为在未能达到统计学显著性的随机对照试验中，超过 50% 存在 spin。比较主要结局与报告结局对于检测多种类型的 spin（包括结局替换）至关重要。我们使用 300 对标注了语义相似度的结局，开发了一个自动检测结局替换的系统。我们评估了基线文本相似度模型和开源 LLM，使用生成的相似度分数和 Youden 指数来确定分类阈值。所提出的方法涉及提示工程、基于 token 概率的分类，以及用于最终决策的多数投票。在包含 2,496 个示例的测试集上，结果 F1 分数为 0.78，准确率为 0.90，优于基线文本相似度模型，但落后于微调版本的 BERT。我们使用 LLM 为分类实例生成自然语言解释，并人工评估了其质量。
| 评论： | 5 页，1 幅图，2 张表。已被第 29 届国际多会议信息社会（IS 2026）AI in Healthcare 分会接收，斯洛文尼亚卢布尔雅那。代码：this https URL |
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7; J.3 |
| 引用为： | arXiv:2610.11845 [cs.CL] |
| （或 arXiv:2610.11845v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11845 arXiv 颁发的 DOI，通过 DataCite（待注册） |
|
| 相关 DOI： | https://doi.org/10.70314/is.2026.aihc.42
链接到相关资源的 DOI |
提交历史
来自：Tjaš Ajdovec [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 12:33:52 UTC（79 KB）
来源：arXiv cs.CL · arxiv.org