arXiv cs.AI· Muhammad Faraz Shoaib, Muhammad Qasim, Raisulhaq Mohammed Rizwan, Rahmatullah Safdar, Muzammil Adnan Shaik, Abdul Aleem Mohammed·· 10 天前AI 评分23
LOGIC：面向航空航天电气系统意图驱动变更影响的 LLM 基准
LOGIC: An LLM Benchmark for Intent-Grounded Change Impact in Aerospace Electrical Systems
AI 导读
研究者提出 LOGIC，一个面向航空航天电气设计的受控基准与评估框架，让本地可部署语言模型先在确定性候选变更清单上完成意图筛选，再通过类型化电气追溯图传播变更，从而区分候选选择错误与下游传播错误。
正文 · AI 翻译
摘要：航空航天电气设计修订可能包含多个真实变更，尽管工程请求可能只授权其中一部分。因此，传播所有检测到的差异可能产生过于宽泛的影响报告。我们提出 LOGIC，一个受控基准与评估框架，其中本地可部署的语言模型在选定变更通过类型化电气可追溯图传播之前，将请求与确定性的候选变更清单进行关联。这种分离使得候选选择错误能够与下游传播错误区分开来。LOGIC 包含 168 个场景，其中包括 144 个选择案例和 24 个弃权案例。我们针对意图无关、词汇和结构化证据方法评估了三个 7--8B 模型，并以上界为 oracle-root。在 96 个显式锚定选择案例上，仅门控结构化证据达到候选 F1 为 1.0000，而 token 词汇匹配为 0.9677。在 12 个关系改写案例上，token 词汇 F1 为 0.1772，仅门控 F1 为 0.0000，而大型语言模型为 0.5000--0.6400。随着候选清单从 4 个变更增长到 64 个变更，模型关联能力下降，而当冻结的选择在约 1K 到 100K 节点的图上重放时，受影响元素和类型化路径准确率保持相对稳定。严格的证据门控抑制了假阳性，但可能移除正确的语义选择。一种探索性的证据为空弃权策略将三个模型的严格弃权准确率提高到 0.6667，并将不安全报告率降低到 0.1667，同时将可回答案例覆盖率降低 16.0--27.1 个百分点。对于每个模型，六个冲突请求中有四个仍然不安全。这些发现支持在无法可靠确定意图时，将字面证据和语言模型推理与工程审查相结合。
| 评论： | 14 页，4 幅图，4 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.07580 [cs.AI] |
| （或 arXiv:2610.07580v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07580 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Muhammad Faraz Shoaib [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 01:14:09 UTC（1,952 KB）
来源：arXiv cs.AI · arxiv.org