微软如何用合成企业数据评估 Microsoft Copilot 并建立首个标准化评测基线

概览

• 要在企业级规模上评估 Microsoft Copilot，就需要能够体现真实组织全部复杂性的测试数据，而真实企业数据包含敏感信息，在任何情况下都不能用于评估。
• 为解决这一矛盾，我们构建了行业评估数据生成平台：以 O*NET 职业数据、在线招聘信息和 SEC 备案文件等公开的真实世界数据源为基础，构建全规模的合成企业环境。
• 这些合成环境模拟真实业务流程，帮助 Microsoft 发现通用基准测试会遗漏的问题。
• 安全与隐私在设计上就内置于该平台。每个环境都是完全合成的，自动化内容安全检查确保生成的数据不含有害或可识别个人身份的材料。

每天，全球数百万知识工作者依赖 Microsoft Copilot 起草文档、总结会议、查找相关信息并提升工作效率。在幕后，这由一系列 AI 系统提供支持，而要确保它们按预期工作，就需要审慎的评估方法。在 Microsoft，我们深知高性能并非来自猜测，而是来自持续的测试、衡量与迭代。

医疗健康机构不断从各团队汇总安全信号，以便更快、更好地做出直接影响患者结果和监管信心的决策。

他们可能会让 Copilot 总结会议并为团队提取行动项。几秒钟内，Copilot 就会给出结构化摘要，并引用转录文本中的具体讨论要点。但我们如何确保这一回复准确、完整，并且恰当地以会议内容为依据？这正是我们的评估系统发挥作用之处。

我们开发了一套名为行业评估数据生成平台的结构化评估策略，其中包含针对特定行业的评估数据集，旨在基于三大核心支柱，用贴近真实的企业场景测试 AI 系统：

• 合成企业环境：模拟的 Microsoft Copilot 环境，包含真实的用户、会议、电子邮件、文档和组织结构，在不使用任何客户数据的情况下复现真实组织的复杂性
• 自动化查询生成流水线，用于快速、可复现地创建评估数据集
• 结构化质量框架，确保合成数据达到有意义评估的标准

这些支柱共同帮助我们回答两个根本问题：Microsoft Copilot 是否真正做到了用户需要它做的事，以及我们能否在不接触用户数据的前提下证明这一点？

在这篇博文中，我们将介绍我们的评估系统与流程，从合成环境生成到自动化查询流水线，以及这一切如何共同建立起 Microsoft Copilot 的首个标准化评估基线。

合成企业环境

评估企业级 AI 需要能够捕捉真实组织全部复杂性的测试数据：汇报结构、项目历史、沟通模式以及特定领域的工作流程。但真实企业数据包含敏感信息，在任何情况下都不能用于评估。这正是我们着手解决的核心矛盾。

我们不再依赖小型、人工整理的测试夹具，而是生成全规模合成环境：模拟的企业工作空间，每个都具备逼真的组织结构、沟通历史和工作产物。在 Microsoft 的术语中，每个这样的模拟工作空间称为一个“租户”。租户是一个隔离的组织环境，拥有自己的用户、数据和配置。这些环境是可扩展的基线，团队和组织可以在此基础上按自己的意愿进行构建。它们被设计为展现出使企业级 AI 评估具有意义的相同结构和行为特性。

以真实世界信号为基础

为确保我们的合成环境具有逼真性，我们将其建立在公开可用的真实世界数据源之上。

• 来自美国劳工部职业数据库的O*NET 数据被用于使合成员工的角色和职责更加逼真，校准分配给不同角色的工作活动的组合与频率，并定制行业特定的工作流程，例如临床试验审查或投资组合更新。
• 在线招聘信息提供了逼真的职位名称、汇报层级和部门构成。
• SEC 文件为组织规模、业务单元结构和财务背景提供信息。所有这些来源均为公开可用，并已通过 Microsoft 法律与政策组织的审查和批准。

重要的是，这些合成环境并非静态快照。它们模拟动态的、随时间演变的组织，包含会议历史、项目时间线、历经数周发展的电子邮件线程，以及自然展开的组织变革。这一时间维度至关重要，因为一大类 Copilot 查询本质上是时间感知的。诸如“团队上周四决定了什么？”或“自上次季度审查以来发生了什么变化？”这样的问题，只有在底层数据具有真实的时间结构时才能产生有意义的评估。

行业特定模拟

我们跨多个行业生成了三个合成环境，每个都具有反映真实世界使用情况的鲜明特征：

• 一个制药环境，包含监管提交工作流程、临床试验讨论和跨职能安全审查会议
• 一个资本市场环境，以交易管道、合规沟通和客户投资组合审查为特色
• 一个 IT/软件公司，模拟冲刺规划、代码审查讨论和产品发布协调

这种行业特定性确保我们的评估查询针对这些领域中真实用户实际会提出的那类问题来测试 Copilot，而不是依赖可能无法暴露领域特定故障模式的通用测试用例。

自动化查询生成

虽然合成环境为评估提供了基础，但它们面临一个关键限制：我们仍然需要真实的评估查询。这些查询用于检验 Copilot 能否呈现正确的信息、正确地综合信息，并以有帮助的方式呈现。手动编写数千条有依据、行业特定的查询成本高昂且速度缓慢。这正是我们的自动化流水线发挥作用的地方。

六阶段流水线

我们构建了一条自动化流水线，将简单、通用的查询想法转化为面向 Copilot 的真实、行业特定的问题。它从一个大型常见工作场所任务库开始，将其缩小到与特定行业相关的内容，并使用领域特定的语言和上下文对其进行调整。然后，系统使用 AI 生成基于合成环境数据的查询，重写它们使其听起来更自然、更像人类表达，并验证每一条查询的准确性和唯一性。结果是一组丰富的高质量、逼真的查询，能够跨真实场景对 Copilot 进行可扩展且可靠的评估。

验证合成质量

当然，生成合成数据只是挑战的一部分。我们还需要确保数据足够好，能够产生有意义的评估。我们使用内部语义评估框架来评估合成环境的质量，该框架从三个维度衡量质量：

• 结构保真度：组织结构是否反映真实的汇报层级、团队规模和跨职能关系？
• 上下文相关性：查询和工作流是否代表实际的企业使用模式？
• 行为真实性：模拟用户是否表现出类似人类的沟通模式和协作动态？
• 内容安全：生成的内容是否不包含有害、冒犯性或个人可识别材料，并且是否避免冒充真实个人？

端到端自动化

虽然我们的合成环境和查询流水线提供了方法论，但如果没有适当的自动化，它们会面临若干实际限制，包括：

• 可复现性：手动流程每次都会产生细微不同的结果，使得跨版本比较评估变得困难。
• 规模：行业垂直领域和配置变体的数量超出了任何团队能够合理手工生产的范围。
• 迭代速度：手动创建需要数天时间，延迟了关键反馈并拖慢了开发周期。
• 跨团队一致性：没有标准化工具，不同团队产生的评估数据集格式和质量水平不兼容。

这种自动化将评估数据集的创建从耗时数天的手动流程转变为自动化运行。我们估计每个评估数据集可节省约 100,000 美元，项目总节省约 300,000 美元。但更重要的结果是，任何团队现在都可以从相同的配置重新生成评估数据集，并获得完全相同的结果。

隐私与安全设计

企业级评估不仅需要良好的方法论，还需要一种隐私立场，使团队能够快速推进而不损害用户信任。我们行业评估数据集的一项不可妥协的设计原则是：在流水线的任何阶段都不使用真实客户数据。从组织结构到邮件内容再到会议记录，每一个元素都是合成生成的，不包含任何客户数据输入。由于数据完全合成且经过安全筛查，团队可以广泛共享和复用这些数据，而不会引入声誉、合规或负责任 AI风险。

我们的保障措施包括：在引用真实世界统计分布时采用隐私保护聚合技术；由专家对所有公开数据源进行法律审查和批准；以及在整个流水线中清晰的数据来源与血缘追踪。

这意味着 Microsoft 各团队可以自由地将这些评估数据集用于实验、基准测试和回归测试，而无需承担隐私审查开销或数据处理的限制，否则这些限制会拖慢迭代速度。隐私设计并非对系统的约束，恰恰是它使广泛采用成为可能。

结果与影响

自项目启动以来，我们已在多个维度观察到显著改善。

在合成数据质量方面，我们的内部评分系统显示，生成数据在结构、上下文和统计保真度上均取得显著质量提升。在我们的综合质量指标（衡量合成数据在多大程度上反映真实企业环境的复杂性和模式）上，得分相比最初的生成方法提升了 39%。部分行业特定环境的质量得分达到 1.0 分制中的 0.9 以上，表明聚焦领域的生成能够产生高度逼真的评估环境。这些改进部分来自引入逼真的行业信号，部分来自通过关键综合质量指标实现质量改进的自动化，这些指标有助于提升我们合成行业环境的结构完整性、上下文连贯性和统计多样性。

在规模与效率方面，每个合成环境现在包含数百名用户，覆盖三个行业垂直领域的完整通信历史。评估数据集的创建已从耗时数天的手动工作转变为自动化流水线运行。

在组织采用方面，我们的行业评估数据生成平台已发布到内部共享目录以供跨团队复用，并确立为 Microsoft Copilot 的首个标准化评估基线。这一变化不仅仅是渐进式的，而是团队评估方式的转变：从临时的手动流程转向标准化、可复现的基础设施。

结论

随着我们不断扩展 Microsoft Copilot 的能力，从单轮问答到智能体式多步骤工作流，我们对评估的承诺始终是我们方法的核心。在企业 AI 中，质量不仅仅关乎准确性或速度，更关乎信任。组织需要确信 AI 系统能正确处理其信息，而这种信心只能来自全面、可重复的评估。这种信任建立在贯穿我们所构建一切的两项承诺之上：严格的隐私保护和主动的内容安全。

展望未来，Microsoft Copilot 正在应对更令人兴奋的评估挑战：我们如何评估多轮智能体交互的质量？我们如何扩展合成环境，以捕捉数月或数年间不断演变的组织动态？我们如何为不仅生成文本、还会采取行动的 AI 系统构建评估框架？这些正是我们团队接下来要研究的问题。

在 Microsoft，我们不仅在构建 AI，我们还在构建基础设施，以确保它在每个行业、每种规模下都能为每个企业可靠运行。

感谢所有参与行业评估数据集工作的人！

在新标签页中打开

文章 从合成企业数据评估到真实的 Microsoft Copilot AI 置信度 首次发表于 Microsoft Research。