arXiv cs.AI· Honson Ling, Kidus Admassu, Stephanie Rosenthal·· 11 小时前AI 评分29
专家批评结合 LLM 驱动优化：迭代构建高质量 AI 评测数据集的方法
Pairing Expert Critique with LLM-Driven Refinement: An Iterative Approach for Curating Quality AI Evaluation Datasets
AI 导读
研究者提出 SME-C 人机协作流程，通过专家对候选回答的轻量批评结合 LLM 驱动的分析与优化，迭代构建回答数据集和评测标准。在金融商业简报领域，411 位金融专业人士对 520 个查询给出 3,853 条批评；盲测中两种 LLM 优化策略均显著优于专家排名最高的基线回答，且改进集中在原本较弱的回答上。基于批评的优化更贴合领域知识，基于投票的优化更擅长识别并删除无关内容。
正文 · AI 翻译
摘要：评估和改进特定领域的 LLM 响应需要高质量的参考数据和评分标准，但专家撰写既慢又昂贵，而合成数据集除非以专家判断为基础，否则可能无法捕捉从业者的偏好。我们提出 SME-C（Subject Matter Expert Critique，领域专家评审），这是一种人机协作工作流，通过对候选响应进行轻量级评审来捕捉专业知识，并辅以 LLM 驱动的分析和改进，以迭代方式整理响应数据集和评估评分标准。我们在金融商业简报领域验证了 SME-C，在两轮调查中从 411 名金融专业人士处收集了针对 520 个查询的 3,853 条评审意见。我们评估了两种 LLM 驱动的改进策略：一种以专家的书面评审意见为指导，另一种仅根据专家的偏好投票推断评审意见。在一项有 100 名额外专业人士参与的盲测验证调查中，我们发现两种策略相比专家排名最高的基线响应均显著提升了质量。提升集中在原本较弱的响应上，且两种策略各有所长：基于评审意见的改进产生了更多扎根于领域的改进，而基于投票的改进在识别和移除无关内容方面更有效。由此产生的评分标准和改进后的数据集支持可复现的 LLM 离线评估和基准测试，表明结构化的专家评审是一种可行的替代方案，可替代专家撰写，以更快、更大规模、更低成本地构建高质量的特定领域评估资源。
| 评论： | 20 页，7 幅图，9 张表 |
| 主题： | 人机交互（cs.HC）；人工智能（cs.AI）；机器学习（cs.LG） |
| ACM 分类： | H.5.3；I.2.7；H.1.2 |
| 引用为： | arXiv:2611.05749 [cs.HC] |
| （或 arXiv:2611.05749v1 [cs.HC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05749 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Honson Ling [查看邮箱]
[v1]
2026 年 11 月 3 日星期二 23:38:56 UTC（2,889 KB）
来源：arXiv cs.AI · arxiv.org