arXiv cs.AI· Shashank·· 4 小时前AI 评分38
FCP:用于验证 LLM 生成产物的形式化上下文协议
FCP: Formal Context Protocol for Verifying LLM-Generated Artifacts
AI 导读
研究者提出形式化上下文协议 FCP,将 AI 生成产物直接对照需求本身进行验证,把一致性判定交给模型检查器和 SMT 求解器,把保真度问题转化为可被具体反例反驳的检查。
正文 · AI 翻译
摘要:当语言模型同时编写产物和用于检验它的测试时,测试通过只能算弱证据:对需求的一处理解偏差就会产生有缺陷的产物,以及一个接受该产物的检查。我们提出形式化上下文协议(FCP),它依据需求本身来检查 AI 生成的产物。FCP 将一致性(产物是否满足需求的某种形式化解读?)与保真性(该解读是否与文字表述含义一致?)区分开来:前者由模型检查器和 SMT 求解器判定,后者没有判定过程,但可被具体反例驳倒。证明可能虚假地认证需求的八种方式,各自转化为一项返回反例的机械检查;而机器无法裁定的事项,则转化为向需求作者提出的具体问题。适配器将硬件、文本、智能体和代码置于同一引擎之上。在四个硬件设计上,信任 AI 编写的断言认证了 23% 的违规需求,而 FCP 一项也未认证。在十个代码任务上,来自三个语言模型的代码通过了自身测试,却每次都违反了需求。信任测试认证了全部 33 项违规,而 FCP 认证了三项。模型、解读或测试之间的一致并不意味正确。
| 评论: | 5 幅图,13 张表。代码与数据:此 https URL |
| 主题: | 硬件架构(cs.AR);人工智能(cs.AI) |
| 引用为: | arXiv:2611.21679 [cs.AR] |
| (或 arXiv:2611.21679v1 [cs.AR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.21679 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Shashank Chaurasia [查看邮箱]
[v1]
2026 年 11 月 15 日周日 03:06:34 UTC(45 KB)
来源:arXiv cs.AI · arxiv.org