arXiv cs.CL· Johann Emmanuel Li·· 2 天前AI 评分27
用小型宽松许可开源模型实现校准的证据推断
Calibrated Evidence Inference With a Small, Permissively Licensed Open Model
AI 导读
研究者用低秩适配器和分类头微调 Qwen3-4B-Base，用于证据推断任务，判断试验结果是显著增加、显著减少还是无显著差异。该模型仅用 2,657 篇训练文章中 1,431 篇 CC BY、CC0 或公有领域文章微调，以 Apache License 2.0 发布并可在笔记本上运行。
正文 · AI 翻译
摘要：使用模型阅读随机试验的系统综述作者需要每个答案以及对其可信程度的度量。如果模型经过校准，使其给出的概率与它正确的频率相符，综述作者就可以接受其有把握的答案，并手动核查其余部分。本文使用低秩适配器和分类头对 Qwen3-4B-Base 进行微调，用于证据推断（Lehman et al., 2019; DeYoung et al., 2020）：给定试验的文章以及一个指明干预、对照和结局的提示，将结果分类为显著增加、显著减少或无显著差异。Evidence Inference 2.0 的文章来自 PubMed Central 的开放获取子集，其中包含采用非商业性和禁止演绎许可的文章，因此发布的模型仅在 2,657 篇训练文章中的 1,431 篇（采用 CC BY、CC0 或公有领域许可）上进行了微调；该模型以 Apache License 2.0 发布，可在笔记本电脑上运行。在测试集上，其期望校准误差为 0.017，且在相同输入零样本条件下，其对数损失低于 Gemma 4 31B-it。其宏 F1 为 0.925，高于我在该测试集上找到的所有已发表结果，尽管那些系统使用了其他输入、评分规则和提示过滤器，且测试标签是公开的。接受其最有把握的 80% 答案后，这些答案中的错误率为 2.6%。上下文消融实验表明，答案依赖于文章，但仅标题就携带了一些信号，这可以由信息丰富的标题或对试验的回忆来解释。
| 评论： | 22 页，2 幅图，15 张表。代码、结果文件和论文源文件：此 https URL。模型：此 https URL。注册：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.07019 [cs.CL] |
| （或 arXiv:2610.07019v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07019 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Johann Li [查看电子邮件]
[v1]
2026 年 10 月 4 日星期日 15:09:39 UTC（40 KB）
[v2]
2026 年 10 月 15 日星期四 12:12:43 UTC（42 KB）
来源：arXiv cs.CL · arxiv.org