arXiv cs.AI· Prathamesh Gadekar, Sagar Srinivas Sakhinana, Venkataramana Runkana·· 13 小时前AI 评分29
Graph-Grounded Harness 如何用证据图约束视觉语言模型做 P&ID 推理
Grounded and Faithful P&ID Reasoning: Constraining Vision-Language Models with Recovered Evidence Graphs
AI 导读
Graph-Grounded Harness 通过恢复 P&ID 图纸的符号、工艺连接与标签构成显式图，并要求模型仅通过七个只读算子查询该图作答，使拓扑结论必须引用支撑它的查询结果。
正文 · AI 翻译
摘要：管道及仪表流程图（P&ID）是工艺装置的权威地图：隔离、维护和 HAZOP 决策都取决于什么与什么相连。视觉语言模型能流畅地描述这些图纸，却常常臆造或遗漏工艺连接——而一个被臆造或遗漏的连接可能颠倒隔离或可达性判断，因此装置决策不能信任一个从未对照线条图核验过的流畅回答。我们改为恢复图纸的显式图——其中的符号、符号之间的工艺连接，以及命名它们的位号——然后要求模型只能通过七个只读算子查询该图来作答，因此只有当拓扑断言引用了支持它的查询结果时才会被返回。在 TopoPID-VQA 上——一个针对这些图纸的、包含 3000 个拓扑问题的新测试套件——Graph-Grounded Harness（我们的方法）将精确匹配准确率从仅图像提示下的 36.7--41.3% 提升到 Qwen3-VL-4B、Qwen3-VL-8B 和 Gemma-4-E4B 的 74.3--76.0%。这一提升建立在不完美的基底之上：在 Digitize-PID 数据集上，恢复出的图在精确工艺连接上得分为 F1 0.742，将符号和位号一并计入后为 0.801。残余误差与这一差距相对应——在恢复出的图正确之处，接地带来收益；而在其不正确之处，感知误差仍会破坏拓扑问题。
| 评论： | 被 NeurIPS 2026 VLM4RWD Workshop 接收。v2 中的变更：(1) 按审稿人建议，增加了答案契约消融结果（表 2）；(2) 增加了微调 VLM 的结果；(3) 增加了 harness 系统提示（附录 A.9）以及描述答案契约消融（A.10）和微调实验（A.11）的附录章节 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.05880 [cs.LG] |
| （或 arXiv:2609.05880v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.05880 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Prathamesh Gadekar [查看邮箱]
[v1]
2026 年 9 月 5 日星期六 05:02:34 UTC（3,794 KB）
[v2]
2026 年 10 月 29 日星期四 07:48:32 UTC（7,426 KB）
来源：arXiv cs.AI · arxiv.org