arXiv cs.CL· Tobias Hallmen, Elisabeth Andr\'e·· 10 小时前AI 评分31
基于评分工具锚定的 LLM 评委可跨三个德语语料迁移专家咨询质量评分
Instrument-Anchored LLM Judges Transfer Expert Counseling-Quality Ratings Across Three German Corpora
AI 导读
研究用四个小型开源 LLM 评委按专家评分工具中的构念打分，在三个德语模拟咨询语料（共 195 场会话）上实现跨域预测，留出语料 Spearman ρ 达 .533，比同域训练高出约五分之一（.420，配对差距 +.113）。信号主要来自语言内容：四个评委单独迁移为 .523，非言语模块仅增加 +.01。让评委输出评分工具构念而非通用对话质量，可将其迁移性提升约 30%（.32 到 .42）。
正文 · AI 翻译
摘要：咨询对话中沟通质量的自动评估受制于数据：专家评分的语料库规模小且扩充成本高。因此，我们研究在来自同一所大学的三套德语模拟咨询语料库（两套全科医学、一套家长-教师；$n=195$ 次会话）上，对专家总体印象进行跨域预测。特征是由四位小型 LLM 评审员根据转录文本给出的构念得分，这些构念取自专家自己的评分工具，另加一个紧凑的非言语模块；所有模型均为开放权重并在本地运行，以保护数据。在其他两套语料库上训练后，该组合在留出语料库上的预测达到 Spearman $\rho = .533$；在同一批会话上进行域内训练则低约五分之一（$.420$；配对差距 $+.113$，95% CI $[+.067, +.157]$），且该差距在匹配训练规模和相同测试会话上依然成立。信号在于说了什么：仅四位评审员即可迁移至 $.523$，非言语模块仅增加 $+.01$（CI 包含零）。要求评审员给出工具构念而非通用对话质量，可使其迁移提升约 30%（$.32$ 至 $.42$）；在逐说话人音频丢失处恢复说话人归属，在该折上价值 $+.08$ 至 $+.10$。当某个项目自身的评分稀缺时，其他项目的数据是可行的训练集，而语言承载了它。
| 评论： | 预印本。22 页，3 幅图 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.08055 [cs.CL] |
| （或 arXiv:2610.08055v2 [cs.CL] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2610.08055 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tobias Hallmen [查看邮箱]
[v1]
2026年10月6日星期二 09:53:25 UTC（85 KB）
[v2]
2026年10月30日星期五 16:11:30 UTC（91 KB）
来源：arXiv cs.CL · arxiv.org