SME-C人机协作流程构建AI评测数据集
热点事件持续更新
SME-C人机协作流程构建AI评测数据集
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
研究者Honson Ling等人提出SME-C人机协作流程，让领域专家对候选回答做轻量批评，再由LLM驱动分析与优化，迭代构建回答数据集和评测标准。 在金融商业简报领域的验证中，411位金融专业人士对520个查询给出3853条批评；盲测显示，两种LLM优化策略均显著优于专家排名最高的基线回答，改进集中在原本较弱的回答上。研究者称，基于批评的优化更贴合领域知识，基于投票的优化更擅长识别并删除无关内容。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 13:00
专家批评结合 LLM 驱动优化：迭代构建高质量 AI 评测数据集的方法报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.AI专家批评结合 LLM 驱动优化：迭代构建高质量 AI 评测数据集的方法
研究者提出 SME-C 人机协作流程，通过专家对候选回答的轻量批评结合 LLM 驱动的分析与优化，迭代构建回答数据集和评测标准。在金融商业简报领域，411 位金融专业人士对 520 个查询给出 3,853 条批评；盲测中两种 LLM 优化策略均显著优于专家排名最高的基线回答，且改进集中在原本较弱的回答上。基于批评的优化更贴合领域知识，基于投票的优化更擅长识别并删除无关内容。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。