Amazon 与 AVERI 合作开展 AI 安全评估数据集第三方独立审查

Amazon Science·2026-10-21 01:57· 48 分钟前AI 评分40

通过独立第三方审查加强 AI 安全评估

AI 导读

Amazon 与独立非营利机构 AVERI 合作，对其内部安全评估数据集开展第三方独立审查，重点检查测试本身的质量与严谨性。审查确认了主题覆盖全面、测试方式多样、污染风险低等优势，同时提出扩大语言与风格多样性、增加多步对抗性提示词、保持评估新鲜度等改进建议。Amazon 据此更新测试集、引入分级难度框架、建立季度审查机制并扩大多语言覆盖。

正文 · 原文

随着前沿 AI 模型能力的提升，确保安全评估严谨且全面的重要性也随之增加。在 Amazon，我们对模型进行大量内部安全测试，涵盖有害内容生成、网络安全风险、隐私保护和版权合规等类别。稳健质量保证的一个核心原则是：即使是严谨的内部流程，也能通过外部审查得到加强。正因如此，我们与 AVERI（AI 验证与评估研究所）合作，对我们的内部安全评估数据集进行独立审查。AVERI 是一家致力于 AI 系统第三方评估的独立非营利机构。AVERI 的任务不仅是测试模型输出，还要审查我们测试本身的质量与严谨性——即我们的评估是否对安全边界进行了压力测试。合作如何开展 我们向 AVERI 提供了从内部安全评估套件中随机抽取的提示样本。AVERI 团队由执行董事 Miles Brundage 领导，成员包括研究员 Sean McGregor、A. Feder Cooper 和 George Balston，他们审查了这些评估提示的多样性、难度校准和方法论合理性。AVERI 在未获我们评估团队意见的情况下独立评估了样本，确保其发现反映真正的外部视角。审查确认了什么 AVERI 的审查验证了我们评估流程的若干优势：全面的主题覆盖——与公开记录的安全类别一致，包括自残、网络安全和其他风险领域；测试方法的多样性——写作风格（正式与非正式）、单轮与多轮对话以及原创内容的差异；低污染风险——内容似乎是原创的，而非来自公开可用的数据集，降低了通过预训练导致评估泄漏的风险。改进机会 任何新的审查都会带来识别内部团队——对自身工作极为熟悉——可能忽视的领域的机会。AVERI 的外部视角提出了若干机会，以进一步加强本已全面的套件：扩展语言和风格多样性——虽然我们的评估包含多语言提示，但 AVERI 建议在各风险类别中更均衡地扩展多语言覆盖，并进一步变化提示结构以拓宽测试场景范围；校准攻击复杂度——AVERI 建议在现有集合中增加更多多步骤对抗性提示，使评估能更深入地探查模型推理，并更好地反映复杂的现实世界滥用尝试；保持评估新鲜度——AVERI 发现少量提示包含有时效性的引用，以及少数评分标准可以更清晰的边缘案例；确保评估信号质量——在某些情况下，模型可能基于提示中的表面线索而拒绝，因此通过这些测试并不一定表明在新情境中具有可靠的安全行为。我们如何采纳反馈 已做出的具体改进：测试集更新：更新评估数据集以解决已识别的具体问题，移除冗余提示并增加更具挑战性的对抗场景 难度校准框架：引入分级难度级别，确保评估包含真正推动模型安全极限的提示，而不仅仅是简单案例 季度审查节奏：建立定期评估维护流程，以发现过时内容、减少重复并纳入新兴攻击模式 更广泛的语言覆盖：在所有风险类别中扩展多语言提示，而非将其集中在特定领域 该领域的典范 这一合作代表了我们所认为的新兴最佳实践：引入独立第三方不仅评估模型输出，还评估评估流程本身的质量。随着 AI 安全领域的成熟，我们预计这类元评估将成为传统红队测试和基准测试的重要补充。益处是相互的：Amazon 获得了对评估质量的独立检查，而 AVERI 获得了评估内部评估流程这一现实挑战的实践经验——这些洞见可为整个领域的最佳实践提供参考。我们感谢 AVERI 全面且建设性的审查，并计划随着模型的发展继续引入独立评估者。对我们安全流程的透明——包括我们可改进之处——是建立对 AI 安全合理信心的基础。

来源：Amazon Science · amazon.science