arXiv cs.CL· Tam\'as Janusko, Sven Kleinkop, Ricardo Bochnia, Gunnar Hempel, Steffen Tomschke, J\"urgen Anke, Maik Thiele·· 11 小时前AI 评分29
通过软提示调优让 LLM 评审对齐人类标注策略
Adapting LLM Judges to Observed Human Annotation Policy through Soft Prompt Tuning
AI 导读
研究用软提示调优让开源 LLM 评审更贴近人类标注策略，在 FairBotBench 上训练并在偏见、毒性、个性化三个维度评估。结合文本提示与可学习连续提示嵌入的混合软提示调优，一致优于未调优基线；Qwen 3.5 9B 调优后在三个维度上均超过两个托管参考评审。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地被用作评估聊天机器人回复的自动评判器。虽然专有模型可以与人类标注者达成高度一致，但它们成本高昂且难以在实际环境中部署。轻量级开源 LLM 评判器提供了一种有吸引力的替代方案，但通常与人类评分的一致性较低。在本文中，我们研究软提示调优能否使开源 LLM 评判器更贴近人类标注策略。我们在 FairBotBench 基准上训练软提示，并从偏见、毒性和个性化三个维度评估适配后的评判器。我们的研究结果表明，混合软提示调优将文本提示与学习到的连续提示嵌入相结合，相比相应的未调优基线，能够持续提升与人类标注的一致性。对于 Qwen 3.5 9B，适配后的评判器在所有三个评估维度上均超越了两种托管参考评判器。
| 评论： | CONVERSATIONS 2026，聊天机器人与以人为本的人工智能国际研讨会（预印本） |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2611.07126 [cs.CL] |
| （或 arXiv:2611.07126v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07126 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Maik Thiele [查看电子邮件]
[v1]
2026年11月4日星期三 20:48:34 UTC（383 KB）
来源：arXiv cs.CL · arxiv.org