当 AI 生成数据成为明天的基准真相
O'Reilly Radar 文章指出,AI 智能体生成的结论一旦被企业系统接受,就会在仪表盘、报告和检索索引中逐层丢失“由 AI 生成”的上下文,被后续系统当作事实沿用,甚至回流为微调数据和评测集。文章以供应商审核智能体误读证书范围为例,说明人工更正记录后,下游决策仍沿用旧结论,并提出用决策血缘记录追踪哪些决策依赖该结论,以及撤回后如何定位受影响的报告、索引和工作流。
O'Reilly Radar· Shreshta Shyamsundar 与 Chidambaram GS·2026-11-17 19:54· 1 小时前AI 评分47
当 AI 生成的数据成为明天的基准真相
AI 导读
O'Reilly Radar 文章剖析 AI 智能体生成的结论如何被企业系统当作事实沿用:供应商审核智能体误读证书范围后,记录虽被人工更正,仪表盘、项目报告与采购决策仍沿用旧结论。文章指出,结论在流转中逐层丢失“由 AI 生成”的上下文,还可能回流为微调数据与评测集,被下一个模型当作基准真相学习。
正文 · 原文

制造商在将关键工作托付给供应商之前,会先对其进行资质审核。在供应商为受监管产品(如医疗器械)提供零件之前,制造商会收集证据:质量认证、测试报告、保险文件和监管批准。如今,AI 智能体越来越多地率先阅读这些证据。智能体审阅文件并提出结论,业务流程再判定该结论是否足以让供应商通过审核。一旦供应商通过审核,该决定便记录在制造商的供应商管理系统中。此后,采购工作流、就绪仪表盘和项目报告都依赖该记录,而不再重复审核。
这一流程可能这样出错。供应商审核智能体检查新供应商的文件,并得出结论:某项强制性质量证书有效。资质审核工作流接受该结论,供应商被记录为合规,采购负责人批准该供应商参与即将到来的订单。几天后,人工审核员发现该证书并不覆盖正在采购的零件;智能体误读了证书的适用范围。上午 11:00,审核员更正了供应商记录,并将该供应商退回审核。下午 2:00,就绪仪表盘仍显示该供应商已通过审核,项目报告仍将其列为合规。采购负责人的采购决定仍然有效,且没有任何信息告知采购负责人其依据的证据已经改变。
误读适用范围只是证书结论可能出错的其中一种方式。证书可能在检查后被撤销、在订单发货前过期、适用于与生产该零件的工厂不同的另一家工厂,或者被发现是伪造的。在每种情况下,都可能有人更正了供应商记录,而已经使用旧结论的系统仍在据此行事。
在此示例中,没有任何系统发生故障。每个系统都处理了在其本地契约下看似有效的信息,但综合结果却是错误的。制造商更正了一个值,却没有更正其影响。部分原因是一个常见问题:企业系统一直难以让报告、索引、缓存和工作流状态与源记录保持一致。智能体让问题更难,因为它们会生成结论。一个结论可能由多个来源拼装而成,在报告中被改写,之后又被当作独立证据检索。对账可以让存储的值保持一致,却无法揭示措辞不同的记录源自同一结论,也无法找出已经依赖该结论的决策。
这个问题不仅限于制造业。在我们为银行、电信和资源行业所做的工作中,只要智能体的输出成为其他系统所信任的记录,这个问题就会出现。欺诈分类被写入案件记录。风险评估被汇总进管理报告。事件诊断成为知识库的一部分。在每一种情况下,正如供应商示例那样,结论在每经过一个环节时都会丢失一些原始上下文,并开始影响之后做出的决策。
结论还可能回流到模型开发中。被接受的发现会成为标注样本、评估集和微调数据,在那里它们被当作下一个模型的真实基准。如果错误的供应商发现躲过了运营系统中的纠正,未来的模型就可能学到它。无论结论最终进入仪表盘、报告还是训练集,核心难题都是一样的:找出每一个依赖于可能变化的结果的重要决策。
当答案获得权威性
再来看供应商审核智能体得出的“证书有效”这一结论。当智能体给出该结论时,它是一个生成的断言:由模型提出的主张,在资质审核工作流为特定用途(例如批准该供应商用于采购)接受它之前,不具备任何业务权威性。“证书有效”这几个字在流转过程中也会改变性质。在智能体的回复中,它们明显是 AI 辅助评估的一部分。在供应商主记录中,同样的字眼看起来却像既定事实。仪表盘剥离了更多上下文:它显示该供应商已通过审核,却没有任何迹象表明哪些检查尚未完成,或者是否有审核仍在等待中。项目报告将这一发现压缩成一句话,而搜索索引又把这句话拆分成可以单独检索的片段。
在这一过程中,企业系统往往保留智能体产生的值,却丢失了产生该值的条件。一条标明该发现由 AI 生成的标签可能保留在供应商记录上,却从仪表盘汇总、数据导出或检索片段中消失。随着这些上下文逐渐脱落,结论便获得了承载它的那个系统的权威性。
这就是为什么两个问题必须分开来看:谁产生了一个结果?以及谁被允许依赖它?智能体可以被允许记录一项提议中的发现,却不被允许确立一项业务事实。同一项发现可能足以让供应商在审核队列中前移,却不足以批准该供应商或放行一笔付款。这条界线划在哪里,取决于利害关系以及哪些控制措施授予了该用途的权威性。一旦资质审核工作流接受了某项发现,下游系统通常就将其视为定论,不再重复检查。这很高效,同时也带来了一项义务:这些系统仍然需要知道哪些决策依赖于该发现,以及在什么条件下依赖。
当重复看起来像佐证
接受还会放大这一发现。一旦供应商被记录为合规,就绪仪表盘就会显示该供应商已通过,采购工作流继续推进,项目报告也会重复这一批准。当后续的智能体被问及该供应商时,它可以检索到供应商记录和项目报告这两份独立文档,而每一份看起来都支持同一结论。在供应商记录、项目报告和仪表盘之间,一个说证据已核实,另一个说控制项已通过,第三个则显示结果为已批准。看似相互印证,实则是传播:多份记录重复着同一个发现。由于每个系统都改变了措辞或格式,这种重复很容易被忽略。
当检索系统把这些副本作为互不相关的文档呈现时,更强的模型也无法可靠地发现这种重复。重排序能提升相关性,但每一份副本可能都是相关的。告诉模型去寻找独立证据,也无法恢复在文档到达模型之前就已被丢弃的来源关系。智能体记忆会让问题更糟。一个智能体记录下自己的发现,一周后又检索到它,这等于在引用自己,而检索到的段落中没有任何内容说明这一点。在多智能体工作流中,一个智能体的摘要会成为另一个智能体的上下文,而第三个智能体所谓的独立核查可能会同时读取两者。
决策溯源是缺失的恢复路径
现有工具覆盖了这一问题的一部分。W3C PROV 对数据生产过程中涉及的实体、活动和智能体进行建模,确立来源与责任。[1] OpenLineage 围绕数据集、作业和运行对溯源元数据进行标准化。[2] 事件溯源将应用状态的变更记录为一系列事件。[3] PROV 的表达能力足以对整个供应商示例进行建模。差距在于实现。溯源工具往往止步于数据集和作业的边界,很少触及决策记录或组装智能体上下文的检索层。按照通常的部署方式,这些工具都无法回答证书发现发生变化后真正重要的问题:哪些决策仍然依赖于它?决策溯源扩展了这些机制。它记录源证据、生成的断言、授予该断言的权限以及依赖该断言的决策之间的关系。
数据溯源告诉我们一个断言传播到了哪里。决策溯源告诉我们,组织因为相信该断言而做了什么。
在供应商示例中,链条从证书延伸到智能体的发现,再到已接受的供应商记录,再到采购负责人的采购决策,并进一步延伸到复用该发现的仪表盘、报告和搜索索引。如果证书最终被证明无效,该链条能让系统找到采购决策,并在任何报告、工作流和 AI 输出影响另一个决策之前,识别出所有继承了旧发现的对象。
这条链路也标出了自动化恢复与业务问责的分界。软件可以识别受影响的产物,阻止已撤回的结论继续作为当前证据出现,并为负责该决策的人开启一项复核任务。由这个人决定该决策是否仍然成立、是否需要撤销,还是需要告知客户或监管机构。实现上可以自动移除过期的搜索条目,同时仍然要求人工批准才能更改一项已经做出的采购决策。
一种用于保持决策依赖关系的生产模式
该模式从智能体的输出进入记录系统之处开始。智能体将其结论记录为一项提案,并与其所审查的证据绑定。由业务方拥有的确定性工作流决定该提案是否能在特定用途中获得权威性。如果某项必需的检查无法运行,该结论就保持为提案,绝不会被悄悄提升。将提案与已接受的结论分开可以防止意外提升,但它并不记录后续发生的事情,即当采购决策依赖于该已接受的结论时。该决策需要一条指回该结论及其背后证据版本的链接。这并不需要一张涵盖智能体所触及一切事物的通用图谱。对于高后果的决策,只要在工作流结束后仍能追溯该结论的影响就足够了。
承载这条链接的依赖记录可以很小。对于供应商示例,它可能如下所示:
{
"assertion_id": "asr-7781",
"claim": "Mandatory certificate valid for supplier S-204",
"evidence_snapshot": "evd-2291@v3",
"authority": {
"granted_by": "qualification-workflow",
"scope": ["sourcing-approval"]
},
"dependent_decisions": ["sourcing-5520"],
"derived_artifacts": ["dashboard:readiness",
"report:program-q3",
"index:supplier-docs"],
"status": "accepted"
}
当证书结论被撤回时,记录的状态变为 withdrawn,而 dependent_decisions 和 derived_artifacts 字段则成为所有需要重新审视之物的列表。
依赖记录必须在结论被复制到下游时继续存在,因为同一结论可能会通过项目报告或搜索索引再次出现。当后续智能体同时检索到供应商记录和项目报告时,检索层应识别出它们共享同一来源,并将它们呈现为同一结论的两份副本。如果该结论已被撤回,检索层应在两份副本到达智能体之前对其进行过滤或标记。
当某项结论被证明有误时,它会被撤回,供应商则回到复核环节。依赖记录让各项服务能够找到依赖该结论的决策、重新计算仪表盘、标记需要重新生成的报告、移除过期的搜索结果,并停止待处理的工作流。已经生效的决策会回到其负责人手中,且不会自动撤销任何内容。缓存失效、向量索引刷新、报告重新生成和工作流撤销都是同一恢复工作的组成部分。只有当旧结论不再驱动任何当前决策时,一次更正才算传播得足够远。
该模式在何处值得付出成本
并非所有 AI 输出都需要决策血缘。一个低风险、从不存储、从不作为证据复用且重新生成成本低廉的答案,可以用普通日志记录来应对。一旦 AI 生成的结论可能影响审批、付款、安全、合规或后续的机器决策,决策血缘就值得付出其成本。等到此类结论中的错误被发现时,该结论可能已经改变了组织的所作所为,因此恢复必须在业务流程可容忍的时间内完成。这项恢复工作——在证据变化时找出并重新审视受影响的决策——正是该模式所降低成本的环节。
这种模式也不要求追踪智能体生成的每一个词。需要追踪的单位是实质性断言:一个具体的声明,例如“证书有效”,如果它是错的,就可能改变决策。一份冗长的供应商评估可能只包含一两个实质性断言。为这些声明记录依赖关系,比保留智能体所写全部内容的完整轨迹更有用,而且在存储、隐私暴露和运营方面的成本更低。
追踪来源还必须足够精确,以保持独立证据的独立性。如果两个实验室分别验证同一份证书,系统不应仅仅因为结果一致就把它们合并为单一来源。关键在于这些观察是否同源,而措辞相似并不能证明任何一方。
如何测试纠正是否传播得足够远
除非纠正确实沿着依赖关系传播,否则记录依赖关系证明不了什么,因此这种模式需要一个测试。在受控环境中,引入一个错误的发现,让它进入一份报告和一个搜索索引,然后撤回它。只有当受影响的决策能够被找到,并且过时的副本在流程要求的恢复时间内不再作为证据出现时,测试才算通过。
三个指标可以显示测试进行得如何。决策覆盖率是指能够追溯到支撑性发现的高后果决策所占的比例。影响时间是指从撤回一项发现到识别出它所影响的决策之间的时间。过时证据泄漏是指被撤回的副本仍作为当前证据被返回的数量。目标取决于流程。支付审批可能需要在一小时内识别出受影响的决策,且零泄漏,而审查队列的优先级或许可以容忍一天。
重放供应商决策
现在回到供应商示例,在采用该模式的情况下重新运行它。当供应商审查智能体得出证书有效的结论时,它的发现被记录为一项提案,并与其审查过的文档关联。资格工作流检查该发现,授予其用于采购决策的权限,并写入前面展示的依赖记录。仪表板和项目报告仍然会获取已接受的发现,而之后检索两者的智能体会将它们视为同一发现的两个副本。
当审查者在上午11:00更正记录时,该发现被撤回,供应商回到审查状态。这一次,纠正传播开了。仪表板重新计算,项目报告被标记为需要重新生成,过时条目从搜索索引中消失,采购负责人收到一项审查采购决策的任务。到下午2:00,仪表板显示该供应商处于审查中。
采购负责人现在可以看到证书发现发生了变化、哪个决策依赖于它,以及哪些报告和记录携带了它。最初的错误仍然发生了。但它的传播现在可见了,其后果也回到了能够对其采取行动的人手中。
真值始于下一个决策
在供应商示例中,采购负责人从未将模型的响应视为最终结果。该发现之所以成为组织真值,是因为供应商系统接受了它、工作流向前推进、报告重复了它,并且后来的系统继承了它的权威。
决策溯源并不能证明原始证据是真实的,也不能替代数据质量或权限控制,也无法让模型的结论变得准确。它解决的是发现结果存在之后会发生什么:其影响力如何被记录、被发现,以及如何在依赖它的各项决策中被重新考量。对于制造商而言,更正证书记录只是第一步。恢复还意味着要找到依赖该发现结果的采购决策,并阻止过时的副本作为当前证据重新出现。
当下一项决策不再追问数据来源时,AI生成的数据就变成了事实基准。
参考文献
- 万维网联盟(World Wide Web Consortium),《PROV-Overview: An Overview of the PROV Family of Documents》,2013年4月30日。查看 W3C PROV 概述。
- OpenLineage,《An Open Framework for Data Lineage Collection and Analysis》。查看 OpenLineage 文档。
- Martin Fowler,《Event Sourcing》,2005年12月12日。阅读《Event Sourcing》。
来源:O'Reilly Radar · oreilly.com
来源:RadarAI · aihot.news