跳到正文
arXiv cs.AI· Daeyoung Park, Chaeyun Kim, Junghwan Kim, Jinyoung Jeong, Eunji Song, Yongtaek Lim, Minwoo Kim·· 3 天前AI 评分24

FinRED:面向金融 LLM 红队测试的专家引导基准生成与评估框架

FinRED: An Expert-Guided Benchmark Generation and Evaluation Framework for Financial LLM Red-Teaming

AI 导读

FinRED 是一个与金融专家共同开发的金融 LLM 安全红队测试框架,通过两级分类法将 FATF、EU DORA 等全球标准映射到从监管规避到复杂欺诈的威胁,并把真实金融文档转化为上下文丰富的红队测试行为提示词种子。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:现有安全基准针对的是通用对抗场景,却忽略了金融领域的特定风险。金融大语言模型面临监管合规违规、协助欺诈以及系统性信任侵蚀等问题,需要有针对性的评估。我们提出 FinRED,一个由金融专家共同开发、专家引导的金融大语言模型安全评估红队测试框架。FinRED 采用新颖的两级分类法,将全球标准(如 FATF 和 EU DORA)映射到从监管规避到复杂欺诈的各类威胁,并集成可扩展流水线,通过专家定义的 schema 将真实金融文档转换为上下文丰富的红队测试行为提示(种子)。严格的专家验证确认了种子在用于有意义的大语言模型安全评估时的合理性与真实性。我们还提供了一套经专家验证、针对金融领域的评分标准,它超越了免责声明检查,比静态的一刀切评分标准更贴近人类专家,并将关键假阴性从 28 例减少到 12 例。FinRED 与国际采用的风险管理和信息安全标准(如 ISO/IEC 27001)保持一致,已部署在韩国金融安全研究院(FSI)的生成式 AI 安全评估监管沙盒中,用于真实金融服务场景。为降低两用风险,数据集、生成流水线、提示模板和评估框架在 此 https URL 和 此 https URL 对合格研究人员开放。
评论: 已被 IEEE ICDM 2026 接收
学科: 密码学与安全(cs.CR);人工智能(cs.AI)
引用为: arXiv:2606.19887 [cs.CR]
  (或 arXiv:2606.19887v4 [cs.CR] 用于此版本)
  https://doi.org/10.48550/arXiv.2606.19887

由 DataCite 颁发的 arXiv DOI

提交历史

来自:YongTaek Lim [查看电子邮件]
[v1] 2026年6月18日星期四 07:46:18 UTC(4,419 KB)
[v2] 2026年6月24日星期三 07:42:32 UTC(4,419 KB)
[v3] 2026年9月22日星期二 05:37:13 UTC(2,138 KB)
[v4] 2026年10月12日星期一 08:20:34 UTC(2,138 KB)

来源:arXiv cs.AI · arxiv.org