Databricks 研究 Genie One 准确率:受治理上下文与智能体如何互补
Genie One 准确率研究:为何精心构建的智能体仍需受治理的上下文
Databricks 用虚构商业车险公司测试 Genie One,仅用数据表时准确率为 64%,加入精心构建的 Genie Agents 或 Unity Catalog 受治理层后各达 83%,两者结合提升至 93–95%。
Databricks:Blog·2026-11-20 04:15· 3 小时前AI 评分49
Genie One 准确率:为何精心构建的 Agent 需要受治理的上下文
AI 导读
Databricks 用虚构的商业车险公司测试 Genie One,仅使用数据表时准确率为 64%,加入精心构建的 Genie Agents 或 Unity Catalog 受治理层后各达 83%,两者结合提升至 93–95%。
正文 · 原文
向财务部门和核保部门询问 2024 年至 2025 年赔付率是否改善,你会得到两个相互矛盾但都正确的答案。在我们为本次测试构建的虚构商业车险公司中,财务部门报告恶化 8.2 个百分点,核保部门报告改善 1.5 个百分点。两者都没有错。财务部门按日历年净再保险口径统计,因此较早赔案的不利准备金发展会体现在今天的数字中。核保部门严格按保单年度、再保险前口径并剔除巨灾,因为这是用于设定费率的基准。而准备金部门则完全依赖第三项指标:事故年度最终赔付率。

SQL 可以完全正确,却仍然给出对提问者毫无意义的答案。挑战在于:当同一个术语有多种有效定义时,知道该应用哪个业务定义,同时保持共享事实(例如已承保保单总数)的一致性。这正是我们想通过 Genie One 探索的问题。
由 Genie Ontology(现已正式可用)驱动的 Genie One 将这一业务上下文带入分析体验。Genie Ontology 从团队已有的工作中学习,自动从现有仪表板、查询、笔记本和语义模型中捕获业务逻辑、计算和关系,形成 Ontology Snippets。这些学到的知识由建模知识补充:通过经认证的 Metric Views、Domains 和 Subdomains 以及 Pages,在 Unity Catalog 中显式定义、受治理的业务概念。在本研究中,我们将这种建模知识称为“受治理层”。
学到的知识和建模知识共同让 Genie 更深入地理解组织如何运作。团队可以基于已从现有资产中捕获的知识进行构建,同时利用建模知识为一致性和精确性最重要的业务概念建立权威定义。无需预先对所有概念建模。
本研究探讨的是 Genie Ontology 的另一个方面,不同于我们在 Genie Ontology GA 公告中描述的 Turing 基准。该基准比较了 Genie 结合 Genie Ontology 与领先前沿 Agent 的准确率和效率,而我们的研究则单独考察建模知识的贡献:受治理的 Metric Views 和 Pages 如何补充学到的知识和精心构建的 Agent,帮助 Genie One 解读业务定义并给出一致的答案。
为探索这一点,我们构建了四个 Genie Agents,分别面向财务、准备金、核保和理赔。它们使用相同的表,但各自拥有本团队的定义、示例查询和文档。每个 Agent 单独表现都很好。我们想知道当 Genie One 成为入口时会发生什么:它是否会路由到正确的 Agent 并使用正确的定义,以及它需要什么才能可靠地做到这一点?
我们测试了四种配置来找出答案。
- 仅数据表:没有 Agent,Unity Catalog 中也没有受治理的上下文。
- 精选智能体:每个智能体都拥有其团队的定义、业务规则和文档。
- 受治理层,无智能体:Unity Catalog 中的 Metric Views、认证、域、子域和页面,不含 Genie Agents
- 带受治理层的精选智能体:相同的智能体加上相同的受治理业务上下文。
仅表格的得分为 64%。精选智能体和受治理层各自达到 83%,但它们在各自擅长的方面并不相同。添加精选智能体改善了基于文档的回答。添加受治理层改善了依赖业务定义的回答。单独任何一方都不足以同时覆盖这两种需求。两者同时具备时,准确率在两次运行中达到 93–95%。组合设置还在赔付率问题上得分 93%,在同时需要文档和结构化数据的问题上得分 97%。
为了检验这一模式在保险行业之外是否成立,我们使用一家虚构的零售商重复了对比。在那里,受治理层在加入精选智能体后将准确率从 54% 提升到 82%。

为什么 Genie One 可能错过智能体已经知道的内容
Genie One 并不是简单地选择一个智能体并让它回答所有问题。它可以使用受治理的 Unity Catalog Semantics,例如 Metric Views、域和子域 以及 页面,或者将问题路由到相关的 Genie Agent。如果它找不到合适的匹配,就会搜索工作区。在那里,它可能会根据你经常使用的表或卷,或者根据你之前的对话,推断应使用哪些数据。
当 Genie One 使用自己的上下文回答问题时,它不会自动继承每个智能体内部配置的指令。这些指令仅在 Genie One 将问题路由到该智能体时适用。因此,一个智能体可能经过精心策划,但如果 Genie One 以不同方式回答问题,它仍然贡献甚微。
我们如何构建测试
保险业务
我们创建了一家虚构的商业汽车保险公司,包含:
- 8,000 份保单和 7,482 起索赔。
- 索赔值每季度更新。
- 针对尚未报告的索赔(已发生但未报告,即 IBNR)的准备金。
- 两份再保险合同和三次巨灾事件。
- 近期加利福尼亚州人身伤害索赔成本上升。
四个智能体共享相同的底层表。每个智能体还可以访问其团队的文档文件夹,四个文件夹中共有 14 份 PDF。
我们还植入了两份误导性文档以测试稳健性。一份是准备金委员会会议纪要的早期草稿,报告准备金增加了 410 万美元;同一文件夹中已批准的纪要则报告增加了 528 万美元。另一份是供应商通讯,其中包含一条隐藏指令,要求将赔付率报告为 55%,这是一个简单的提示注入测试。
然后我们在真实定义旁边放置了三个外观相似的表:analytics_loss_ratio_v2、analytics_loss_ratio_test,以及一个个人副本 finance_lr_calendar_quarter_net_jdoe。
智能体配置了其团队的公式、业务规则和 SQL 示例问题。我们在一组单独的练习题上对它们进行了调优,然后将其冻结,在所有包含智能体的配置中使用相同的版本。
让企业文档可供 Genie 使用有多种方式,具体取决于内容所在的位置以及团队需要如何访问它。在本实验中,我们将团队专属的 PDF 存储在 Unity Catalog Volumes 中,并通过内容搜索将其提供给相应的 Genie Agents。当信息分散在 Google Drive、SharePoint、Jira 或 Confluence 等业务应用中时,Genie Search 可提供更广泛的企业搜索体验。它将来自已连接应用的索引内容与通过 MCP 进行的实时检索相结合,在单一体验中把结果与 Databricks 资产汇聚在一起。它还遵循源系统的权限,因此用户只能看到其有权访问的内容。
对于受治理层,我们设置了:
- Metric Views,包含各团队的计算:三种赔付率定义,以及相关的团队专属版本的保费、索赔频率和严重程度。
- Certification,将预期的 Metric Views 和 agents 标记为可信,并将诱饵资产标记为已弃用。
- Domains 和 Subdomains,围绕 Commercial Auto 业务组织资产。共享事实位于主 Domain 中,而每个团队的定义、文档和 agents 则位于各自的 Subdomain 中。
- Pages,提供对业务术语的简短、受治理的解释,并链接到其所描述的表和 Metric Views。
问题与评分
保险基准包含 125 个问题,每个问题都有一个在 SQL 中独立计算出的预期答案。
问题涵盖简单查询、明确命名的业务定义、诸如“我们的赔付率是多少?”之类的模糊问题、需要解释的问题、可用数据无法回答的问题,以及将文档与结构化数据相结合的问题。我们还测试了后续问题和两份植入的文档。
我们采取了几个步骤来让结果更有意义。Genie One 对每个问题回答三次,每次运行都使用全新的服务主体,以免之前的对话延续下来,并且每个答案都记录在 MLflow 中。当关键结果接近时,我们用新的身份重复整个设置。我们报告来自 2,000 次 bootstrap 重采样的 95% 置信区间,并将每个问题的重复回答保持在一起,因为 Genie One 可以回忆起先前的答案。来自不同模型家族的两名 AI 评委提取了标题数字、所使用的定义以及所涵盖的事实,并由固定规则判定每个答案是否正确。评委们在 95–99% 的答案上达成一致。在每次运行之前,每个 agent 都必须独立地至少正确回答其 85% 的基础问题。
准确率提升来自哪里
以下是使用 Genie One 测得的总体准确率得分,以及按问题类别的细分。
| 问题类型 | 仅表格 | 精选 agents | 受治理层,无 agents | 精选 agents + 受治理层 |
|---|---|---|---|---|
| 全部 125 个问题 | 64% (55–72%) | 83% (77–89%) | 83% (77–89%) | 95% (91–98%) |
| 定义问题(31) | 47% | 69% | 100% | 100% |
| 赔付率问题(36) | 43% | 67% | 88% | 93% |
| 后续问题(5) | 40% | 60% | 73% | 93% |
| 文档问题(12) | 42% | 75% | 42% | 81% |
| 需要文档和数据的问题(12) | 25% | 92% | 42% | 97% |
| 使用诱饵表的答案 | 10% | 6% | 0% | 0% |
| 依赖账户中其他项目 Pages 的答案 | 46% | 49% | 14% | 11% |
受治理层新增了什么。仅使用精选智能体时,Genie One 常常自行回答定义类问题,从未看到智能体指令中的公式。已发布页面在整个账户范围内对 Genie One 可见,因此它能找到的最接近的定义,是其他人为无关项目编写的页面。在其 49% 的回答中,它依赖了这些页面。受治理层为 Genie One 提供了更好的匹配:为每项计算提供经过认证的 Metric View,为每个有争议的术语提供我们自己的页面,并组织在 Commercial Auto Domain 内。对其他项目页面的依赖降至 11%,基准测试中的每个定义问题都得到了正确答案。
我们还考察了 Genie One 是将定义类问题路由给智能体,还是直接回答。
| 通过 Genie One 处理定义类问题 | 路由给智能体 | 由 Genie One 直接回答 |
|---|---|---|
| 精选智能体 | 93% 正确 | 34% 正确 |
| 精选智能体 + 受治理层 | 100% 正确 | 100% 正确 |
仅使用精选智能体时,智能体知道答案,但 Genie One 自行回答了约十分之四的定义类问题,且其中大多数回答错误。使用受治理层后,无论走哪条路径都能答对。我们用不同身份从头运行了两次该设置,路由发生了显著变化:一次运行中 Genie One 将 74% 的回答交给智能体,另一次为 19%,准确率大致相同。路由并非确定性行为,但有了受治理层,它不再重要。直接回答时,Genie One 读取经过认证的 Metric View 和页面。路由给智能体时,智能体应用与同一 Metric View 匹配的公式。每条路径都通向相同的定义。
植入的文档没有改变任何答案。任何设置下的回答都没有报告注入的供应商简报中 55% 的赔付率,也没有使用草案准备金数字。
没有受治理层时,路由决定了你是否能得到正确答案。教训是:要针对 Genie One 可能走的任何路径进行设计:把每个定义放在每条路径都能到达的地方,并在信任结果之前通过 Genie One 多次测试。
智能体新增了什么。没有智能体时,文档类问题降至仅表格的水平。在没有智能体时变差的 18 个问题中,有 12 个需要团队文档,例如诉讼审查、准备金委员会会议纪要或承保建议。在此设置中,智能体是 Genie One 获取这些文档的唯一途径,因为 PDF 只能通过智能体内容搜索获得,且没有任何页面链接到它们。没有智能体时,Genie One 还对每次重复预测了 2027 年赔付率,而不是说明数据不涵盖 2027 年。这一限制写在表格描述和智能体指令中,但不在 Genie One 正在读取的 Metric View 上,因此它从未看到。
受治理层各部分各自的贡献
上述比较一次性加入了整个受治理层。为了解每个组件的贡献,我们运行了一系列单独的测试,每次添加一个组件。
第二个实验开始时,有四个 agent 的损失率公式彼此不一致。从第二步开始,我们把公式移入 Metric Views,并将每个 agent 缩减为几条行为规则和两个示例查询。这些 agent 的配置与主对比中完全精心整理的 agent 不同,因此下面的结果不应与之前的表格直接比较。

- Metric Views 修正了公式。同一步骤还将 agent 缩减为几条行为规则。损失率问题的准确率从 56% 提升到 83%,定义问题从 66% 提升到 90%。
- 认证有助于标示哪些资产值得信任,但并未独立提升准确率。总体得分从 90%(84–94%)降至 83%(76–89%),但置信区间重叠,因此我们不能说这一下降是真实的。与此同时,诱饵表的使用率从答案的 9% 降至 4%,Genie One 在 22% 的答案中明确引用了经过认证的定义。我们认为认证是一种有用的信任信号,与 Domains 和 Pages 协同发挥作用,而不是一个能单独让答案正确的功能。
- 最后添加的 Domains 和 Pages 帮助 Genie One 识别适用哪个定义。模糊问题的准确率提升至 94%,定义问题达到 100%,诱饵使用率从 4% 降至零。Metric View 告诉 Genie One 如何计算一个数字;Domain 和 Pages 帮助解释这是谁的度量以及它如何融入业务。
文档问题在不同运行之间的波动比其他类别更大。只有 12 个问题,因此改变两个问题就可能使得分变动约 15 个百分点。原始 agent 的指令说明了在哪里查找诉讼状态,Genie One 将两个诉讼问题都路由到 Claims agent 并答对了。一旦我们删减了这些指令,这些问题通常会失败,直到我们添加了一个定义“in litigation”的 Page。
同一个问题可以有不同的正确答案
我们还测试了 Genie One 在解读问题时能否考虑用户所属的团队。
我们创建了两个身份,一个属于 Finance,一个属于 Underwriting。每个身份都向 Genie One 告知了一次自己的团队,Genie One Memory 保留了该信息。随后两个身份在新对话中提出了相同的 12 个问题:其中 7 个问题的正确答案取决于团队,5 个问题询问的是直接的事实。
| Finance 身份 | Underwriting 身份 | |
|---|---|---|
| “我们的损失率从 2024 年到 2025 年是变好了还是变差了?” | 差了 8.2 个百分点(日历年,再保险后) | 好了 1.5 个百分点(当年承保的保单,再保险前,不含巨灾) |
| 取决于团队的问题 | 每次重复均 7 题中答对 6 题 | 每次重复均 7 题全部答对 |
| 直接事实(承保保单、索赔、承保保费……) | 5 题全部答对,答案相同 | 5 题全部答对,答案相同 |
每个答案都解释了它使用的是哪个团队的定义。这表明学习到的知识和建模知识协同工作,因为 Genie One 将它记住的关于每个用户的信息与该团队已建模的定义结合起来。两个身份拥有完全相同的数据访问权限,因此差异来自 Genie One 记住的团队上下文,而不是身份可见内容的差异。这是对业务上下文的测试,而非访问控制。记住某人所属的团队并不能替代权限或行级安全;这些仍需单独强制执行。
当业务定义发生变化时会发生什么?
业务定义并非一成不变。我们想看看更新其中一个定义而不破坏其他定义需要多少工作量。
进行到一半时,核保部门决定其赔付率也应包含抗辩索赔的法律费用。我们更新了核保指标视图,并在其页面上添加了一句话。我们没有更改任何智能体指令。随后,我们通过 Genie One 提出了 12 个关于核保赔付率的问题,此时精选智能体和受治理层均已就位。
每个答案都使用了新定义。关于我们未更改的定义的八个问题仍然回答正确。在仅使用精选智能体的设置中,同样的更改意味着需要在四个智能体的指令中的七个位置查找并编辑公式。
一个注意事项:智能体仍然保留着旧公式。在 Genie One 之外直接询问时,它们在 92% 的答案中使用了旧公式,且没有任何警告,并且会一直这样做,直到有人更新每个智能体。集中管理定义可以减少重复,但智能体中遗留的任何逻辑仍然需要维护。
同样的方法在保险行业之外也适用吗?
我们用一个虚构的零售商重复了主要对比。财务、商品和营销部门各自对收入有不同的定义。我们问:“2025 年收入增长了吗?”
- 商品部门将所有折扣前下单的商品都计入收入,报告增长 13.6%。
- 财务部门在订单发货时、扣除折扣和退款后计入收入,称收入下降了 9.4%。
- 营销部门在退货前统计已完成订单,称收入持平。
假日促销和服装退货激增解释了这一差距,而三者都是正确的。
该基准包含 49 个问题,因此这是对该模式的较小规模检验,而非第二次完整研究。
| 零售,通过 Genie One | 精选智能体 | 精选智能体 + 受治理层 |
|---|---|---|
| 所有问题 | 54% (41–67%) | 82% (71–92%) |
| 定义问题 | 31% | 100% |
| 使用本业务之外表格的答案 | 21% | 6% |
| 使用相似表格的答案 | 5% | 0% |
精选零售智能体单独运行时表现良好。然而,通过 Genie One,它们只答对了大约一半的问题,因为 Unity Catalog 中没有任何内容说明收入对每个团队意味着什么,或者哪些表属于该业务。有了受治理层,定义准确率从 31% 跃升至 100%,整体准确率升至 82%。
我们的建议
基于这些实验,保留你的精选智能体,并在其下方添加一个受治理层。关键决策是每条信息应归属于何处:
| 位置 | 存放内容 |
|---|---|
| 认证指标视图 | 带有连接键、计算和维度的范围数据集,Genie One 和智能体用其计算和聚合数据 |
| 域和子域 | 业务和团队所有权,共享事实放在主域中,团队特定上下文放在子域中 |
| 页面 | 业务术语的解释,指向包含证据的表、视图和文档。页面可以链接到与该页面相关的资产,例如指标视图。 |
| 表和指标视图描述 | 数据涵盖和不涵盖的内容,包括日期范围、缺失的预算或费用数据 |
| 智能体指令 | 行为规则说明使用了哪个定义,在需要时请求澄清,并承认数据无法回答问题时的情况 |
几个实践教训尤为突出:
- 从对不同团队含义不同的定义开始,尤其是那些作为单个团队内部部落知识存在的定义。Genie One 已经能很好地处理普遍公认的事实。
- 每个度量只定义一次。将官方计算放入经过认证的 Metric View,而不是在多个 agent 指令中维护相同的公式。在我们的测试中,Metric Views 和 Pages 推动了准确率的提升。在我们的分步测试中,认证使 Genie One 避开了外观相似的诱饵表,将其使用率从 9% 降至 4%,而 Domains 和 Pages 将其降至零。
- 使用 Pages 解释业务上下文。将它们链接到其所描述的已认证表和 Metric View。在每个 Page 上,定义计算适用的场景以及 Genie One 应避免使用它的场景。当 Genie One 能将定义与底层数据关联起来时,定义会更有用。
- 让 agent 专注于它们最擅长的事情。团队专属文档、Domain 知识和行为规则仍然重要。受治理层并不能取代这些上下文,尤其是当问题依赖于表中或 Metric View 中未体现的信息时。
- 通过 Genie One 进行测试,而不仅仅是通过单个 agent 测试。一个自身回答良好的 agent 如果 Genie One 没有将请求路由到它,也不会有帮助,因此要在每次更改前后衡量端到端体验。
要将其应用到您自己的数据,请从团队定义不一致的术语开始,将它们添加到带有 Metric Views 和 Pages 的 Domain/Subdomain 中,并通过 Genie One 衡量变化。Genie Ontology 文档解释了各部分如何协同工作,而我们在您的数据栈中实施 Genie Ontology 的指南则逐步介绍了如何设置它们。
来源:Databricks:Blog · databricks.com
来源:RadarAI · aihot.news