arXiv cs.CL· Rabindra Lamsal, Sisi Zlatanova, Xuesong Shen·· 12 小时前AI 评分18
IFC-MCQ：为评估 LLM 智能体的 IFC 数据检索自动生成多选题基准
IFC-MCQ: Automatically Generating Multiple-Choice Benchmarks for Evaluating LLM Agents on IFC Data Retrieval
AI 导读
IFC-MCQ 可从 IFC 文件自动生成多选题基准，用精确的选项集评分替代需要人工或 LLM 审阅的自由文本评估。其分类体系覆盖 4 组、15 个类别和 36 个子类型，答案键取自文件本身，干扰项由文件派生值或预定义规则构造。在规模与建模特征各异的 IFC 模型上评测两种智能体配置后发现，性能会随源 IFC 模型和检索接口变化，并暴露出类别特有的失败模式。
正文 · AI 翻译
摘要：行业基础类（IFC）是建筑、工程和施工（AEC）领域建筑信息交换的标准，目前正越来越多地通过大语言模型（LLM）以自然语言进行查询。大规模评估这些系统十分困难，因为自由文本答案需要耗费高昂成本的人工或基于 LLM 的审核。我们提出 IFC-MCQ，一种从 IFC 文件自动生成多项选择基准以实现精确选项集评分的方法。该分类体系涵盖 4 个组别下的 15 个类别和 36 个子类型，答案键源自文件本身，干扰项则由文件派生值或预定义规则构建。我们将 IFC-MCQ 应用于不同规模和建模特征的 IFC 模型，以评估生成覆盖率，并使用基于工具和基于代码的检索方式，在选定模型上评估了两种智能体配置。评估揭示了特定类别的失败模式，并表明性能可能随源 IFC 模型和检索接口而变化。IFC-MCQ 能够为 AEC 工作流中基于 LLM 的 IFC 检索实现可扩展的基准测试。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30533 [cs.CL] |
| （或 arXiv:2610.30533v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30533 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rabindra Lamsal [查看电子邮件]
[v1]
2026年10月21日星期三 23:38:01 UTC（5,773 KB）
来源：arXiv cs.CL · arxiv.org