跳到正文
Google DeepMind·· 4 天前精选AI 评分60

Google DeepMind 与新加坡政府合作推出端侧反诈检测模型

Google DeepMind and Singapore Government collaborate to build fine-tuned AI model for scam detection

AI 导读

Google DeepMind 与新加坡政府科技局(GovTech)合作,基于轻量级 Gemma 模型微调出可在普通智能手机上运行的端侧诈骗检测模型。该模型在设备本地处理对话数据,采用两阶段流水线:先用轻量分类器筛查入站消息,再由微调后的 Gemma 分析更大范围的对话上下文以确认威胁或排除误报,检测到操纵性对话模式时在设备上实时提醒用户。

推荐理由

原文给出端侧反诈模型的微调路径与两阶段流水线设计,可了解隐私与检测如何兼顾。

正文 · AI 翻译

2026年10月14日 责任与安全

JJ Geewax 和 Miguel de Andrés

此次合作交付了一款设备端诈骗检测模型,在不损害隐私的前提下帮助保护公民。

诈骗占新加坡已报告犯罪的一半以上,自2019年以来造成的损失超过40亿新元。与此同时,诈骗手法已从简单的网络钓鱼转向复杂的社会工程学,攻击者通过令人信服的对话操纵受害者,然后索要钱财。此类诈骗目前占全部损失的80%。

为解决这一问题,Google DeepMind 与新加坡政府科技局(GovTech)一直在合作,这是我们与新加坡政府国家人工智能 合作伙伴关系的一部分。这使我们得以交付一款设备端诈骗检测模型——针对新加坡典型智能手机进行优化——在应对紧迫安全挑战的同时保护公民隐私。

不损害隐私的设备端AI保护

通用模型往往难以应对本地化的欺骗手法,使诈骗检测更加困难。为解决这一问题,Google DeepMind 的轻量级 Gemma 模型基于本地诈骗对话进行了微调。这些对话涵盖冒充公共机构、银行和本地人物,以及流行的地区性骗局,确保模型能够区分正常的社交闲聊与真正的操纵行为。

这一新模型还在设备上处理对话数据。传统上,威胁检测依赖于在云端对消息进行服务器端扫描,但许多消息平台采用端到端加密——这意味着它们无法检查私人对话。人们需要一种既能防范欺诈又能保持对话私密的方式,而我们的解决方案是将威胁分析带到设备上。这可以更快地分析对话模式以检测操纵意图,让公民在发生财务或凭证泄露之前采取行动。

幕后:本地语境与边缘效率

当模型检测到操纵性对话模式时,它会直接在用户设备上触发实时警告,建议他们暂停并谨慎行事,然后再分享敏感信息或资金。

在现代智能手机上运行复杂的诈骗分类器模型并非易事,电池效率是一个关键问题。为此,我们采用两阶段流水线:

  • 阶段1:一个轻量、高效的分级器筛选传入消息,功耗极低,专注于捕捉潜在威胁。
  • 阶段2:使用我们微调后的 Gemma 模型进行语境评估,分析更大范围的对话快照,以确认威胁或排除误报。

建立在严格治理之上

在新加坡国际网络周(SICW 2026)上展示的这项合作,为消息平台在用户保护与端到端加密之间取得平衡提供了一个范例。整个开发过程始终保持严格治理:

主权沙盒:微调在 GovTech 管理和维护的 GCP 环境中进行,确保训练数据隔离。

无公民数据:训练严格排除私人或可识别个人身份的信息,仅使用源自诈骗报告和情报源的匿名数据集。

压力测试:该模型针对合成对话和本地语料库进行了测试,以覆盖多样化的诈骗类别和不断演变的冒充手法。

设备端安全的未来

该项目展示了 AI 如何帮助消息服务打击犯罪,并表明在设备端直接运行保护性 AI 无需牺牲安全性或隐私。它还展示了政府与模型提供商如何携手打造服务于公共利益的科技。消息平台和操作系统供应商可以直接集成这些轻量级模型,在本地保护用户,确保聊天交互安全无虞,同时不暴露私人数据。

来源:Google DeepMind · deepmind.google