arXiv cs.CY· Yuan An·· 2 天前AI 评分22
LLM 智能体如何编排科研流程：MCQ 生成与评估的试点研究
Orchestrating LLM Agents for Scientific Research: A Pilot Study of Multiple Choice Question (MCQ) Generation and Evaluation
AI 导读
一项混合方法试点研究让人类研究者协调多个 LLM 智能体，完成从 PDF 提取题目、将开放教材转为结构化表示、对齐教材内容到生成并评估 MCQ 的全流程。研究收集 1,071 道 SAT Math MCQ，用 24 项质量标准评估，生成题目平均质量较高，但从未达到 24/24 全部等效，差距集中在技能深度、认知投入、难度校准和元数据对齐。研究者工作也从"编写题目"转向规格制定、编排、验证与治理。
正文 · AI 翻译
摘要：大型语言模型（LLM）的进步正在迅速改变科学工作，但关于这些系统如何重塑研究活动的实证证据仍然有限。我们报告了一项 AI 编排研究工作流的混合方法试点评估，其中一名人类研究者协调多个基于 LLM 的智能体来执行数据提取、语料库构建、工件生成和工件评估。以多项选择题（MCQ）的生成与评估为试验平台，我们收集了 1,071 道 SAT 数学 MCQ，并使用 LLM 智能体从 PDF 中提取题目、检索开放教科书并将其转换为结构化表示、将每道 MCQ 与相关教科书内容对齐、在指定难度和认知水平下生成新的 MCQ，并使用 24 项质量标准框架评估原始和生成的 MCQ。在所有评估中，MCQ 的平均质量都很高。然而，标准层面的分析和等价性检验表明，生成的 MCQ 与专家审核过的基线题目并不完全可比。严格的相似性（24/24 项标准等价）从未实现。持续存在的差距集中在技能深度、认知参与、难度校准和元数据对齐方面，而表面层面的质量，如{语法流畅度}、{选项清晰度}、{无重复}，则始终表现强劲。除 MCQ 结果之外，该研究还记录了一种劳动转移。研究者的工作从“撰写题目”转向{规范制定、编排、验证}和{治理}。形式化约束、设计评分标准、构建验证循环、从工具故障中恢复以及审计来源构成了主要活动。我们讨论了科学工作未来的影响，包括 AI 赋能研究流水线所需的、新兴的“AI 研究运营”技能。
| 主题： | 计算机与社会（cs.CY）；人工智能（cs.AI）；人机交互（cs.HC） |
| 引用为： | arXiv:2602.18891 [cs.CY] |
| （或 arXiv:2602.18891v2 [cs.CY] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.18891 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Yuan An [查看电子邮件]
[v1]
2026年2月21日星期六 16:20:07 UTC（1,731 KB）
[v2]
2026年10月15日星期四 14:47:54 UTC（841 KB）
来源：arXiv cs.CY · arxiv.org