跳到正文
AWS Machine Learning Blog· Keith Mascarenhas·· 2 天前AI 评分58

AWS 正式发布 Amazon Textract Insights,支持自然语言描述字段并返回置信度与页码溯源

Announcing Amazon Textract Insights: Verifiable generative AI for documents

AI 导读

AWS 宣布 Amazon Textract Insights 正式可用,这是 Amazon Textract 的新生成式 AI 功能,通过新 API 提供。

正文 · AI 翻译

金融服务、保险、医疗保健和公共部门等各行业的组织都依赖文档处理。它们将扫描文件和纸质表单转化为系统可操作的结构化数据。随着生成式 AI 的成熟,这些组织想要的不只是准确的文本提取。他们希望用自己的语言描述所需信息,并从复杂文档中获得可靠、可审计的答案。

今天,我们宣布 Amazon Textract Insights 正式可用,这是 Amazon Textract 的一项全新生成式 AI 功能,可通过 Amazon Textract 中的新 API 使用。借助 Amazon Textract Insights,您可以用自然语言描述所需字段,并提交一份文档或混合的多文档包。您将收到结构化结果,其中每个值都带有置信度分数和页面级溯源,且无需训练模型。

从混合文档包中提取数据的挑战

许多高价值文档工作负载涉及多样化的混合文档包,而非干净、单一用途的文件。例如,一份抵押贷款文件通常以单次扫描的形式送达,其中包含 W-2 表、工资单、银行对账单和一页手写笔记。每份文件都有自己的版式,且出现顺序不固定。理赔文件和入职材料包可能非常相似:打印表单、密集表格、扫描收据和自由文本信函交错在一个文件中。

团队通常采用两种方法之一,每种方法都有取舍。第一种是自定义流水线,结合光学字符识别、文档拆分、分类、基础模型提示和审核步骤。团队必须集成、扩展并运维所有这些环节。第二种是默认使用通用大语言模型。它能返回流畅的答案,但无法可靠地引用来源页面或给出置信度分数。没有可追溯的来源和经过校准的分数,就很难知道哪些值可以自动接受、哪些需要审核。这种不确定性往往限制了团队自动化的程度。

Amazon Textract Insights 专为可靠的文档处理而构建,将整个工作流整合为 Amazon Textract 上的单个异步请求。您的团队无需组装和运维自定义流水线,而是通过一个托管 API 完成工作,直接获取所需数据。

Amazon Textract Insights 的工作原理

借助 Amazon Textract Insights,您可以在蓝图中定义要提取的内容。蓝图是一个 JSON Schema,其中每个字段都带有自然语言描述,说明要查找什么。每个字段还有一个推理类型,决定该值是逐字从页面读取,还是从文档内容中推断。您可以从 AWS 公共蓝图开始,用于常见文档类型,例如 W-2 表、1040 表、1098 表、护照或出生证明。您也可以为业务特有的文档自行编写蓝图。

对于混合文档包,您将预期每种文档类型的蓝图添加到同一项目中。然后,从您自己的 Amazon Simple Storage Service (Amazon S3) 存储桶提交一个最多 3,000 页的单个文件,并启用拆分。Amazon Textract Insights 会将文档包拆分为逻辑子文档,将每个子文档匹配到适合它的蓝图,提取所需字段,并为每个值返回置信度分数和溯源信息。

例如,假设您收到一份 26 页的 PDF 抵押贷款申请,其中包含 W-2 表格、工资单、银行对账单以及信贷员的手写笔记。您使用 AWS 公共的 W-2、工资单和银行对账单蓝图创建一个 Amazon Textract Insights 项目,为信贷员笔记添加自定义蓝图,并启用拆分功能。然后,您通过一次 StartDocumentInsights 调用从 Amazon S3 存储桶提交该文件。Amazon Textract Insights 会将文件拆分为各个独立文档,将每个文档与其蓝图匹配,并将结果写入您的 S3 存储桶。每个值都包含置信度分数以及其来源页码和边界框。

可审计自动化的置信度与溯源

Amazon Textract Insights 返回两类字段:第一类是直接从页面上读取的显式字段。第二类是根据文档内容推导出的推断字段。两者都会返回置信度分数以及溯源信息,标明该值来源的页码和坐标。

由于每个值都可追溯到其来源,审核人员或审计人员可以对照原始文档确认任何结果。您可以将自动化扩展到以前需要人工审核的文档,同时在需要判断的环节保留人工参与。

“我们评估了 Amazon Textract Insights,并对其潜力感到兴奋。我们的医疗账单和表单来自各种不同的来源,布局和格式往往各不相同。因此,为某一来源开发的提取规则并不总能有效地迁移到另一来源。

借助 Amazon Textract Insights,我们可以用自然语言描述所需的字段,该服务会识别并提取相应的数据。每个提取的值都会返回置信度分数,使我们的团队能够仅将审核精力集中在服务置信度较低的字段上。我们还很高兴探索文档拆分功能,它可以帮助将多文档文件自动拆分为单个文档,进一步简化我们的文档处理工作流。”

— Vijay Agrawal,Symbeo(A CorVel Company)信息系统副总裁

基于 Amazon Textract 引擎构建

我们更新了 Amazon Textract 的读取引擎 Amazon Textract Core,提升了准确性,加强了对密集表格和手写内容的处理能力,并将 DetectDocumentText 和 AnalyzeDocument API 的语言覆盖范围扩展到 40 种语言。所有这些优势现已可供 Amazon Textract 客户使用,无需任何更改。您的 Amazon Textract API 保持不变。

Amazon Textract Core 现已在另外两个 AWS 区域正式可用,即亚太地区(东京)和欧洲地区(苏黎世),使区域内处理覆盖的 AWS 区域总数达到 18 个。Amazon Textract Insights 尚未在这些 AWS 区域提供。

安全与数据处理

项目与蓝图

Amazon Textract Insights 使用 AWS 拥有的密钥对项目和蓝图进行静态加密。如需使用您自己的 AWS Key Management Service(AWS KMS)客户托管密钥,请在调用 CreateProject 或 CreateBlueprint 时在 EncryptionConfiguration 中指定该密钥。

洞察分析作业

Amazon Textract Insights 从您在 StartDocumentInsights 请求中指定的 Amazon S3 存储桶读取文档,并将结果写入这些存储桶。中间作业数据使用 AWS 拥有的密钥进行静态加密。如果您在请求的 EncryptionConfiguration 中指定了客户托管密钥,Amazon Textract Insights 会使用该密钥加密作业的中间数据。所有中间数据都是临时的,并在作业完成后删除。作业完成后,写入您存储桶的结果将应用输出存储桶的默认加密设置。项目的密钥不适用于其作业。

如果您禁用密钥或移除 Amazon Textract 对该密钥的访问权限,Amazon Textract Insights 将无法再使用受该密钥加密的数据。

跨区域推理

Amazon Textract Insights 会自动选择您所在地理区域内最优的 AWS 区域来处理您的推理请求。这可以最大化可用计算资源和模型可用性,并旨在提供一致的客户体验。所有数据均通过 Amazon 的安全网络加密传输。Amazon Textract Insights 会将您的推理请求安全地路由到请求来源地理区域内的可用计算资源。例如,源自美国的推理请求将在美国境内处理。Amazon Textract Core API 保持不变,并继续在您调用的 AWS 区域处理请求。有关目标 AWS 区域的列表,请参阅 Amazon Textract 文档指南。

开始使用

开始使用 Amazon Textract Insights 需要四个步骤。

定义您的需求:从 AWS 公共蓝图开始,或用自然语言描述您自己的字段。

创建项目:将您的蓝图添加到项目中。

提交文档:通过一次 API 调用,从您的 Amazon S3 存储桶发送单个文档或混合文档包。

查看结果:接受达到您置信度阈值的值,并将其余值路由以供审核。在您自己文档的代表性样本上调整阈值。

Amazon Textract Insights 支持 PDF、PNG、JPEG 和 TIFF 输入,并可处理英语、法语、德语、意大利语、葡萄牙语和西班牙语文档。它按页计费,而非按 token 计费,且无最低承诺用量。有关 Amazon Textract 的当前费率,请参阅 Amazon Textract 定价页面。

结论

长期以来,智能文档处理一直迫使人们在自动化程度与结果可审计性之间做出取舍。Amazon Textract Insights 缩小了这一权衡,使您的团队能够基于证据而非猜测来决定在何处实现自动化。进一步了解如何开始使用 Amazon Textract Insights。

访问 Amazon Textract 产品页面。

按照 Amazon Textract 开发人员指南 编写蓝图,或从 AWS 蓝图开始。

注册参加 re:Invent 上的 Accelerate intelligent document processing with Amazon Textract 会议。


关于作者

Keith Mascarenhas

Keith Mascarenhas

Keith 负责领导 AWS 生成式 AI 的全球上市策略,专注于 AWS AI 服务和 Amazon Bedrock 中的智能文档处理与计算机视觉。加入 AWS 以来,他先后从事产品管理、解决方案架构和上市策略工作,这让他能够从构建者的视角理解 AI 如何创造业务价值。

Sneha Choudhury

Sneha Choudhury

Sneha 是一位首席产品经理,负责推动 AWS 文档与视觉 AI 计划的产品战略和路线图。她主导 AI 驱动产品的构建方式,并将其交付给 AWS 客户。

Niklas Breuer

Niklas Breuer

Niklas 是 AGI 团队的高级产品经理,负责定义并交付面向 AWS 的 AI 驱动信息产品。他与客户、工程和科学团队紧密合作,塑造 AWS AI 服务的构建与上市方式。

Wrick Talukdar

Wrick Talukdar

Wrick 是 Amazon Web Services 生成式 AI 方向的技术负责人,通过多模态 AI、智能体解决方案和基础模型推动创新。他还是畅销书《Building Agentic AI Systems》和《Generative AI Ethics, Privacy, and Security》for Large Language Models 的作者。他是一位主题演讲嘉宾,经常在包括 AWS re:Invent、ICCE、Global Consumer Technology conference 以及 World Technology Summit、CERAWeek 和 ADIPEC 等主要行业活动在内的全球领先论坛上展示他的创新和解决方案。闲暇时,他喜欢写作和鸟类摄影。

Malena Lopez-Sotelo

Malena Lopez-Sotelo

Malena 是专业技术产品营销经理,专注于专业 AI 服务与模型。Malena 帮助客户理解和采用 AI 服务。她与各团队合作,将复杂技术转化为清晰的故事并推动成功发布。

来源:AWS Machine Learning Blog · aws.amazon.com