Indegene 如何在 AWS 上构建 LLM 驱动的企业数据质量智能体

本文由 Indegene Limited 的 Shravan K S 联合撰写。

企业 AI 正在为生命科学组织创造新的机会，帮助其在商业、医学、市场准入及其他业务职能中改进决策。但每一个 AI 模型、仪表盘和业务洞察的质量都取决于一件事：可信的数据。随着企业数据在多个平台、管道和业务领域不断增长，保持一致的数据质量变得越来越困难。手动创建数据质量规则、碎片化的治理以及不断演变的业务定义，使得在企业范围内扩展数据质量变得极具挑战。

本文探讨 Indegene 如何在 AWS 上的 NEXT 统一数据平台（NEXT UDP）中构建生产级、由大语言模型（LLM）驱动的数据质量代理。该代理生成上下文感知的数据质量规则，对其进行验证，并在集中式、人工介入的治理下生成可直接运行的 SQL 和 Python 代码。这些能力共同帮助组织在企业规模上提升数据质量，同时减少构建和维护数据质量项目所需的工作量。

关于 Indegene

Indegene Limited（BSE: 544172，NSE: INDGN）是生命科学行业的战略运营合作伙伴，统筹产品生命周期内的商业、医学、研发和安全运营。Indegene 受到全球前 20 大生物制药公司的信赖，帮助其在全球范围内运行复杂、高度受监管的工作流程。Indegene 将深厚的生命科学专业知识与 AI 嵌入式平台和受治理的运营模式相结合，提升关键任务运营的速度、一致性和合规性。通过将技术融入工作的执行和扩展方式，Indegene 帮助生命科学组织在受监管环境中交付可衡量的成果。

传统数据质量项目为何失效

大多数组织已建立数据质量流程，但随着企业数据生态系统不断演变，保持其有效性变得越来越困难。

最大的挑战之一是技术规则与业务规则归属之间的割裂。数据工程师通常定义技术规则，以确认数据在结构上是否正确。例如，验证 HCP ID（医疗专业人士 ID）不为空、符合所需格式、具有唯一性，并映射到有效的参考记录。业务团队则定义规则，以确定数据在其运营上下文中是否合理。例如，确认某区域内的产品市场份额合计为 100%，或 HCP 的处方活动与其专业和资格标准相符。由于技术规则通常维护在代码中，而业务规则存在于术语表、SOP 和领域专业知识中，因此要在不同数据集和平台之间保持二者一致并实现统一治理变得十分困难。

传统验证技术也存在固有局限。对空值、数据类型、唯一性或引用完整性的检查仍然必不可少，但它们无法捕捉业务特定的上下文。验证产品层级、客户细分、区域对齐或商业业务规则需要领域知识，而静态验证逻辑难以轻松表达这些知识。

创建和维护数据质量规则同样要求很高。每个新数据集都需要进行数据剖析、规则定义、SQL 开发、验证和持续维护。这些规则往往分散在 SQL 脚本、管道代码、电子表格、数据目录和特定工具的配置中。随着模式、业务定义或验证阈值发生变化，更新和治理这些规则所需的工作量会显著增加。

此外，运营影响也很显著。由于许多活动需要手动重复执行，新数据集的接入变得更慢。在数百个数据集上维护质量规则会消耗宝贵的工程精力。当验证规则难以理解、难以追溯或难以与业务背景关联时，业务用户会失去信心。

因此，数据质量往往成为一种周期性的治理活动，而不是持续、可扩展的能力。

用生成式 AI 重新思考数据质量

传统数据质量工具通常作为独立能力运行，与更广泛的企业数据生态系统脱节。随着组织扩展 AI 和分析，数据质量需要嵌入数据平台本身，让治理、元数据、血缘和分析协同工作。

Indegene 通过 NEXT Unified Data Platform (NEXT UDP) 解决这一问题，这是一个专为生命科学构建的现代 AI 驱动数据平台。NEXT UDP 将分散的商业、医学、临床和企业数据整合到一个受治理的统一环境中，使组织能够管理从数据接入到分析的完整数据生命周期。NEXT UDP 提供多个独立 AI 代理，例如数据接入代理、数据质量代理、编排代理、数据目录代理和 SQL Bot 生成器代理。你可以在数据管道中单独使用它们，或进一步定制它们以实现代理间通信。

通过将数据接入、转换、数据质量、治理、元数据管理和分析集成到一个统一平台中，NEXT UDP 帮助组织：

• 将分散的企业数据整合为可信的单一事实来源。
• 跨业务领域标准化数据质量和治理。
• 提高元数据可见性、血缘和可追溯性。
• 减少数据工程工作流中的手动工作。
• 为企业分析和决策提供可信、AI 就绪的数据。

图 1：NEXT Unified Data Platform 仪表板，包含用例和 AI 代理

图 2：NEXT UDP 在 AWS 上的技术架构

Indegene 的生命科学客户需要一个能够在生产环境中可靠运行并满足严格治理要求的代理，同时让团队在构建方式上保持灵活性。在 NEXT UDP 中，生成式 AI 驱动一个智能数据质量代理，增强现有数据质量流程。该代理通过加速规则创建、简化验证并帮助在企业规模上保持一致的治理，提高数据工程师和数据管理员的生产力。

Indegene 基于一系列 AWS 服务构建了数据质量代理，其核心是 Amazon Bedrock、Strands Agents 和 Amazon Bedrock AgentCore。Amazon Bedrock 提供多种基础模型（FM）选择，并建立在安全、隐私和负责任 AI 控制的基础之上。对于生命科学组织而言，这一点至关重要，因为其数据通常包含敏感的医疗专业人士和患者信息。Strands Agents 简化了代理的构建和更新，其评估工具帮助 Indegene 测试规则准确性，这在受监管的生命科学环境中至关重要。该代理运行在 Amazon Bedrock AgentCore 上，这是一个可使用任意框架或模型大规模构建、连接和优化代理的平台。该解决方案还继承了现有的 AWS 安全和审计控制，因此 Indegene 可以专注于数据质量逻辑，而非代理基础设施。

数据质量代理的独特之处是什么？两个知识库赋能上下文感知的数据质量

任何数据质量工具都能检查空值、重复项或无效数据类型。AWS Glue Data Quality（AWS Glue 的一项功能）等服务已能根据数据统计推荐此类规则，它们仍然是坚实的基础。更难的问题在于判断数据对其业务目的是否合理。为解决这一问题，数据质量代理使用了两个互补的知识库，将精选的领域知识与从受治理使用中获得的经验相结合。

第一个是企业内部知识库：它结合了内部业务术语表、数据字典、SOP、监管指南、已批准的数据质量规则、经验证的脚本、剖析结果、历史异常以及主题专家（SME）反馈。内容经过摄取、向量化，并通过检索增强生成（RAG）进行检索，以生成基于企业标准和已验证成果的数据质量规则。

第二个是外部参考知识库：它使用已批准的标准化数据质量框架、网络搜索和受控的网络抓取构建并定期更新。当选择数据集时，代理会分析表和列元数据，并从可信来源检索相关的数据质量标准、参考值和验证最佳实践。例如，对于 NPI（国家提供者标识符）列，它可以识别适用的质量标准，推荐格式（必需的 10 位数字格式）并执行参考验证检查。

工作原理

图 3：数据质量代理流程

数据质量代理在单一工作流中引导用户从数据剖析到规则创建和治理：

1. 选择源：连接到受支持的源，例如 Amazon Redshift 或 Snowflake。
2. 选择数据库和架构：浏览可用的表，以及每个表的规则数量和活动规则状态。
3. 剖析数据：该解决方案计算表的质量指标和列模式，供用户审查。
4. 检测异常：该解决方案对照历史基线标记异常，用户审查总数、严重和警告问题以及受影响的记录。
5. 管理规则：审查表的现有规则或开始创建新规则。
6. 选择规则模式：选择列级别、表级别或自定义查询。
7. 生成规则建议：该代理利用元数据、剖析结果、异常、现有规则和知识库上下文来推荐技术和业务规则，每条规则都带有严重程度。
8. 审核、完善并应用：用户编辑或批准每条建议。
9. 生成并验证代码：该代理为已批准的规则生成 SQL 和 Python，并通过验证步骤进行检查。
10. 存储到中央规则存储库：已批准的规则可用于执行、监控和审计。

AWS 上由生成式 AI 驱动的数据质量代理的解决方案架构

下图展示了 NEXT UDP 平台上数据质量代理的端到端架构，从数据管理员请求到规则执行。

图 4：NEXT UDP 上数据质量代理的解决方案架构

数据管理员和数据质量分析师从 Indegene 应用程序调用该解决方案。下表提供了解决方案流水线的逐步说明，并列出了每一层使用的 AWS 服务。它还列出了该解决方案支持的其他选项，以便您根据数据量、现有工具和运营偏好进行调整。

Data Quality Agent 如何构建上下文

在推荐任何验证规则之前，Data Quality Agent 会从六个不同的来源组装上下文，每个来源回答关于数据的不同问题：

这些来源共同让智能体能够像经验丰富的数据管理员一样进行推理。将每条建议建立在数据是什么、标准要求什么、企业如何定义质量，以及已经实施了什么的基础上。

解决方案的功能

数据质量智能体会生成多个类别的检查，并让数据管理员始终掌控结果。

异常检查生成

该解决方案生成异常检查，用于捕获技术上有效但不符合医药市场实际表现的值。这些包括负的切换百分比、在某一市场内合计不等于100%的市场份额、不一致的药品排名（例如，排名第一的药品份额低于排名第二的药品）、超出定义量表的评级值，以及过小或与受访者数量不匹配的小组规模。

基于RAG的上下文感知规则生成

数据质量智能体以三种模式生成规则建议：

“创建新质量规则”界面提供专用的列级、表级和自定义查询模式。

该平台同时支持技术验证和业务特定的质量检查。

对于技术规则，智能体生成确认数据结构健全的检查。这些包括必填字段的空值检查、数据类型验证、数值和日期值的范围验证、标识符和代码等格式化字段的模式验证、重复检测，以及相关表之间的引用完整性检查。

对于业务规则，该代理会生成生命科学检查项，以确认数据与业务运营方式保持一致。这些检查包括账户归属一致性（例如，医疗服务提供者关联到正确的组织）、细分逻辑、资格标准，以及市场份额和产品份额验证（例如，某一区域内的份额不超过 100%）。

真实用例示例

考虑一个 HCP 产品绩效表，其列包括 HCP_ID、Specialty、Territory_ID、Product_ID、Prescription_Volume、Market_Share_Pct、Switch_Pct、Rating_Scale 和 Reporting_Month。利用表画像和两个知识库，数据质量代理会按如下方式生成并执行以下检查：

1. Anomaly checks performed.
   • 负向转换百分比。
   • 市场份额总计不匹配。
   • 处方量突然增加或减少。
   • 产品排名不一致。
   • 评分量表值无效。
2. Technical rules generated.
   • HCP_ID 不得为空或重复。
   • Prescription_Volume 必须为数值且非负。
   • Market_Share_Pct 和 Switch_Pct 必须介于 0 和 100 之间。
   • Reporting_Month 必须遵循所需的日期格式。
   • Territory_ID 和 Product_ID 必须与其参考表匹配。
3. Business rules generated.
   • 对于每个区域和报告月份，所有产品的市场份额总计必须为 100%。
   • HCP 的产品资格必须与其专业领域一致。
   • 只有符合条件的 HCP 才能纳入目标细分。

AI 辅助的严重性建议

该解决方案根据数据集上下文、规则类型和业务影响来建议严重性。严重性类别有助于区分：

• 严重问题，例如无效的商业指标、错误的标识符或业务规则违规。
• 基本验证，包括模式一致性、空值检查和长度验证。
• 复杂验证，涉及高级 SQL 逻辑、多列规则或领域特定的业务检查。
• 信息：仅为提高认识和透明度而进行的验证。除非发现问题，否则无需采取行动。

SQL/Python 代码生成与 ETL 集成

规则获批后，LLM 会生成等效的 SQL、Python 和 PySpark 代码。在存储之前，代码会自动进行验证，包括语法检查、针对目标模式的检查，以及在语言支持的情况下对样本数据进行测试运行。这意味着现有的提取、转换和加载（ETL）及编排工具可以将它们作为当前数据管道的一部分来运行。

AI 辅助验证

使用 LLM 作为验证代理来审查另一个 LLM 生成的数据质量（DQ）规则/脚本，以减少幻觉并改进治理。此外，Amazon Bedrock 提供安全性、隐私和负责任 AI 控制。提示和输出不会用于训练模型，也不会与模型提供商共享。Amazon Bedrock 符合 HIPAA 要求，并纳入 SOC、ISO 和 GDPR 等合规计划的范围，这有助于 Indegene 满足其生命科学客户的要求。Amazon Bedrock Guardrails 为模型输入和输出添加可配置的防护措施。它可以检测和屏蔽个人身份信息（PII），阻止有害内容和提示注入攻击，并使用上下文接地检查来标记检索知识不支持的响应。

人工监督仍然是核心

Data Quality Agent 旨在增强现有的数据质量流程。每条生成的规则都会获得一个置信度评分。只有高置信度、低风险的规则才会被自动批准，而关键规则和业务规则始终交由 SME 审核。每个决策都会记录在规则存储库中，因此规则管理始终保持受治理、可追溯，并符合企业标准。

交付运营影响与业务价值

在生产环境中，在 Indegene 为生命科学客户部署 NEXT UDP 的过程中，Data Quality Agent 已将定义和实施数据质量规则的工作量从每个数据集约 30 小时减少到约 4 小时。这大约减少了 85% 的工作量，或约 7 倍的生产力提升。现在，接入一张新表只需 2–4 小时，而不是 2–5 个工作日。数据工程师和数据管理员现在将时间用于审核和批准规则，而不是从头编写规则。

关键成果包括：

• 通过 AI 生成的规则、SQL 和 Python 减少人工工作量。
• 更快地接入新表、模式和业务领域。
• 基于已批准的标准、企业知识和现有规则，生成更一致的规则。
• 通过审核、完善和批准工作流，改善业务团队与技术团队之间的协作。
• 通过自动剖析和异常检测，更早发现数据质量问题。

表 1：性能与规模

*根据 Indegene 的生产部署估算

表 2：规则质量与验证

*根据 Indegene 的生产部署估算

表 3：运营效率

*根据 Indegene 的生产部署估算

表 4：手动与代理辅助数据质量的对比

*基于 Indegene 生产部署的估算

展望未来

随着企业数据生态系统持续增长，依靠人工规则创建和碎片化治理流程来维持一致且可扩展的数据质量变得越来越困难。生成式 AI 提供了一个机会，通过加速规则生成、融入业务上下文并支持受治理的决策来增强这些工作流。

NEXT Unified Data Platform 中由生成式 AI 驱动的 Data Quality Agent 展示了大型语言模型、RAG 和集中式规则治理如何协同工作，在让人类掌控审查和批准的同时简化数据质量管理。未来的增强功能将继续在此基础上构建，包括：

• AI 辅助修复建议，帮助用户解决未通过的数据质量检查。
• 根因分析，用于识别反复出现的异常模式，并支持更快地调查重复出现的数据质量问题。

随着这些能力不断演进，重点始终不变：通过 AI 辅助的自动化帮助组织提升数据质量，同时保持治理、透明度和业务监督。

如需了解更多信息，请参阅以下资源：

• 生命科学领域的 Indegene
• 医疗与生命科学中的生成式 AI
• AWS Skill Builder 课程：使用 Amazon Bedrock 构建生成式 AI 应用
• GitHub 仓库：AWS 上的医疗与生命科学智能体示例

关于作者

Bhagyashree Chandak

Bhagyashree 是 AWS 印度区的解决方案架构师，擅长将复杂的业务挑战转化为切实可行、可直接投入生产的解决方案。她与客户紧密合作，深入了解其目标与需求，并结合真实落地经验设计创新架构。她专注于迁移与现代化、数据与分析以及生成式 AI，帮助组织实现平台现代化，并让数据与 AI 为其创造可衡量的业务成果。

Shravan K S

Shravan 是 Indegene 的数据分析高级经理，也是一位经验丰富的 GenAI 架构师，在生命科学与医疗健康领域拥有 18 年以上的分析、数据平台和系统集成经验。他曾主导交付生成式 AI、数据工程、平台现代化以及新兴 Agentic AI 系统领域的安全、可扩展解决方案。他擅长通过 SAFe Agile 推动转型，并借助云原生架构和 AI 驱动的数据运营推进创新。他持有 AWS、Snowflake、Databricks 和 Dataiku 的高级认证，并将前沿技术与制药及医疗健康分析领域的实际影响相结合。