arXiv cs.CL· Yawei Li, Jiazheng Li, David R\"ugamer, Bernd Bischl, Yulan He, Mina Rezaei·· 12 小时前AI 评分31
S-EDL：从序列似然中提取自证据，实现 LLM 语义校准
S-EDL: Eliciting Self-Evidence from Sequence Likelihoods for Semantic Calibration of LLMs
AI 导读
S-EDL 是一种新的证据式方法，通过从 LLM 自身的序列似然中提取证据，构建针对提示词语义类的可微 Dirichlet 先验，从而原生优化模型的语义校准。该方法无需固定选项即可在可变语义类上生成校准感知的训练信号，在四个开放式基准和三个模型上显著降低了语义校准误差并提升了准确率。代码已开源。
正文 · AI 翻译
摘要：在开放式生成中对大语言模型（LLMs）进行校准具有独特的挑战性，因为许多不同的 token 序列可以表达相同的底层含义。此前的校准技术针对的是固定集合分类置信度或单个字符串的二元正确性，因此本质上不适合开放式语义结果动态、多字符串的特性。为弥合这一差距，我们提出了 S-EDL，一种新颖的证据方法，可原生地优化 LLMs 以实现语义校准。通过从模型自身的序列似然中获取证据，S-EDL 在提示特定的语义类别上构建可微的 Dirichlet 先验。在该先验下优化证据损失，可在可变的语义类别上产生校准感知的训练信号，完全无需固定的多项选择选项。在四个开放式基准和三个模型上的评估表明，S-EDL 在提高准确率的同时大幅降低了语义校准误差。通过将生成似然与语义正确性对齐，这项工作为在复杂、开放式应用中部署可信赖的 LLMs 建立了框架。代码可在以下网址获取：this https URL。
| 评论： | 34 页，8 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29832 [cs.CL] |
| （或 arXiv:2610.29832v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29832 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yawei Li [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 14:55:58 UTC（543 KB）
来源：arXiv cs.CL · arxiv.org