Elith 与 NVIDIA 发布 Nemotron-Personas-Finance-Japan 合成金融人物数据集

Hugging Face 社区博客·2026-11-09 23:05· 36 分钟前AI 评分45

Nemotron-Personas-Finance-Japan：一个捕捉日本人口结构与金融背景的合成数据集

AI 导读

Elith 与 NVIDIA 发布 Nemotron-Personas-Finance-Japan，这是开源人物数据集 Nemotron-Personas-Japan 的金融领域扩展，据称是首个百万记录级、结合日本官方统计与家庭金融数据的开放人物数据集。

正文 · 原文

一种基于真实世界分布的日本人物复合 AI 方法

开放数据打破隐私壁垒，为 AI 在金融领域的应用铺平道路

在金融领域，真实数据的使用面临严格隐私法规、合规要求以及对高级领域专业知识需求所带来的重大限制。在此背景下，金融领域智能体 AI 的发展需要能够规避使用真实数据风险、同时反映人口结构、家庭结构与资产状况以复现多样且真实金融场景的合成数据。

为应对这些挑战，Elith 与 NVIDIA 发布了 Nemotron-Personas-Finance-Japan，这是开源人物数据集“Nemotron-Personas-Japan”的金融领域扩展。据我们所知，这是首个百万记录级、将日本官方统计与家庭金融及金融素养数据相结合的开放人物数据集。该数据集基于政府官方统计构建，采用用于合成数据生成（SDG）的概率图模型框架 NeMo SDG-PGMs 和企業级合成数据生成系统 NeMo Data Designer 开发。此外，为提升数据集在金融用例中的实用价值，其设计融入了日本国内领先金融机构和行业协会提供的洞见与反馈，包括 Sompo Japan、Tokio Marine Holdings、Bank of Fukuoka、Mizuho Financial Group、Meiji Yasuda Life Insurance 以及金融数据利用协会（FDUA）。

该数据集拓展了日本开发者和企业无需使用真实客户数据即可开发和评估契合本地及行业需求 AI 的环境。它以 CC BY 4.0 许可发布，可用于商业用途。从构建对话智能体到客户模拟与模型评估，它支持实用的金融 AI 开发。包括 Nemotron-Personas-Finance-Japan 在内的 Nemotron-Personas 集合旨在与用户模拟框架 NeMo User Sim 无缝集成，从而能够即时执行源自与真实世界一致的多样分布的模拟。

数据集包含什么？

• 总计 900 万人物（100 万条记录 × 每条 9 个人物），以自然日语撰写
• 每条记录 50 个字段：9 个人物字段、11 个人物属性以及基于官方人口与劳动统计的 30 个上下文字段
• 总计约 15 亿 token，其中约 7.5 亿人物 token
• 约 95 万个唯一姓名
• 1600+ 个职业类别，反映日本劳动力构成
• 全面覆盖人口、地区、资产分布与人格特质各维度
• 多样化的人物类型：职业、体育、艺术、旅行、烹饪、金融、金融行为以及财务关切
• 自然语言人物属性：文化背景、技能与专长、职业目标与抱负、爱好与兴趣、家庭/父母/财务背景、对金钱的态度以及财务规划
• 可用于商业和非商业用途，遵循 CC BY 4.0 许可协议

我们如何构建它

数据生成流水线

它使用 NVIDIA 的合成数据生成框架 NeMo Data Designer 构建。这一复合 AI 系统支持复杂的 Jinja 模板、Pydantic 验证、结构化输出、自动重试以及对多种生成后端的支持。这是生成如此大规模合成数据集所必需的工具集。此外，还使用了以下模型：

• NeMo SDG-PGMs（Apache-2.0）：一个用于统计性数据生成的概率图模型框架
• gemma-4-31B-it（Apache-2.0）：用于日语文本生成

增强的文化语境

Nemotron-Personas-Finance-Japan 的设计旨在与日本的官方人口和劳动统计数据保持一致，同时考虑到 AI 训练所必需的关键因素：

• 教育：在国家统计对学位层次进行宽泛汇总之处，我们引入了更细的粒度，使模型能够反映多样化的教育路径。
• 职业：我们纳入了更多类别（如企业主和专业职业），以拓宽用于训练的职业范围。
• 人生阶段：我们对统计中很少突出出现的场景进行了建模，例如学生、退休人员和失业期，以呈现更真实的人物。
• 家庭财务：除个人收入和消费倾向外，我们还纳入了家庭层面的财务和实物资产，以复现多样化的经济背景。
• 数字与金融素养：通过纳入互联网和智能手机使用情况以及金融素养，我们使模型能够精确捕捉金融用例中的消费者画像。

设计上保护隐私

每个人物都是完全合成的。不涉及任何真实个人，该数据集旨在降低隐私风险。人口统计和家庭财务遵循官方统计和公开调查数据，姓名遵循真实的日本命名模式。人物是基于这些分布构建的，而非基于关于真实人物的记录。

本数据面向谁

Nemotron-Personas-Finance-Japan 首先面向在日本构建金融 AI 的团队，包括银行和保险公司，以及为其提供服务的初创公司和集成商。每个人物都同时携带人口统计信息以及家庭财务和金融素养信息。团队可以用它们构建客服智能体、评估销售对话/营销举措、在 NeMo User Sim 中运行用户模拟，以及对面向客户的 AI 进行红队测试。

该版本同样适用于面向日本用户构建产品的开发者。它包含 900 万个人设，比 Nemotron-Personas-Japan 多 50%，覆盖 50 个字段而非 22 个。这为任何日语项目提供了更细粒度的人群切片，用于训练和测试。

实用 AI 应用

该数据集中的合成人设可用于：

• 多轮对话：将人设作为“种子”生成类人对话数据集。
• 领域特定 AI 开发：生成数据集，以构建针对金融用例中真实场景定制的 AI 助手。
• 偏见测试与公平性：评估模型和 AI 智能体系统在城乡差异、不同年龄群体、教育背景和经济状况下的表现，以检查 AI 在日本社会中是否表现一致。

为何重要

获取反映真实世界人群的多样化高质量训练数据，长期以来一直是 AI 开发中的挑战。企业 AI 开发主要依赖私有数据，这为研究人员、初创公司，尤其是数据有限地区的 AI 开发者制造了障碍。

• 数据多样性：反映日本人口的全貌，有助于减少有偏训练和模型崩溃的风险。
• 文化真实性：减少对西方中心数据集的依赖，支持主权 AI 系统的开发。
• 隐私与治理：符合日本以创新为先的 AI 治理方针。每个人设都是合成的，因此构建或测试时无需客户数据。

通过在 CC BY 4.0 许可下发布 Nemotron-Personas-Finance-Japan，我们提供了企业级高质量合成数据的访问权限，使任何人都能以更低成本和更少隐私风险构建具有文化根基的 AI 系统。

与 Nemotron-PII-Japan 搭配使用

Nemotron-PII-Japan 同日发布。它包含 100,000 份带有标注个人信息的合成日本商业文档，用于训练和测试检测与脱敏模型。其文档基于 Nemotron-Personas-Japan 构建。使用 Nemotron-Personas-Finance-Japan 模拟客户，使用 Nemotron-PII-Japan 测试你的流水线如何保护他们的数据。

开始使用 Nemotron-Personas-Finance-Japan 构建

你可以使用以下命令下载该数据集，以帮助开发真正理解日本文化和语言的 AI。

from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Personas-Finance-Japan")

构建生产级应用的用例：

• 将人设作为对话生成的种子
• 使用具有文化根基的数据微调模型
• 构建反映日本整体人口构成的个性化引擎
• 开发具备日本语境知识的领域特定 AI 智能体

从在日本构建 AI 的团队到寻求更广泛区域部署的全球开发者，Nemotron-Personas-Finance-Japan 数据集为你的应用提供了所需的真实、注重隐私的基础。

来源：Hugging Face 社区博客 · huggingface.co