arXiv cs.CY· Robin Qu\'eriaux, Solveig Bachellery, L\'ea D\'el\'eris, Saurabhsingh Rajput, Mariam Barry, Tushar Sharma, J\'er\^ome Lebecq·· 12 小时前AI 评分31
VERA：面向 EU AI Act 合规评估的开源 LLM 部署责任 AI 仪表盘
VERA: A Responsible AI Dashboard for Assessing LLM Deployments in Light of the EU AI Act
AI 导读
VERA 是一款开源自托管仪表盘，用于按 EU AI Act 的 12 项可测量技术要求对 LLM 部署进行评分，并记录每次评测的能耗。在一家欧洲大型银行的受试者研究中，使用 VERA 完成责任 AI 评估平均耗时从 56 秒降至 30 秒，组织内问卷有用性评分为 4.36/5。仪表盘与研究材料已公开，以支持在不同组织环境中复现。
正文 · AI 翻译
摘要：在受监管环境中部署大型语言模型的机构，往往需要在批准部署前获得负责任 AI 实践的技术证据。COMPL-AI 提供了对欧盟《人工智能法案》的技术解读，将这些证据组织为六个原则组和十八项技术要求，其中十二项可由当前基准测试衡量。产生这些证据的基准测试套件通常通过命令行操作，而负责批准部署的人员并非工程师。我们提出 VERA，这是一个开源、自托管的仪表板，部署于一家大型欧洲银行内部，用于促进负责任 AI 流程。审核人员选择一个模型并对其运行公开基准测试。VERA 对当前基准测试可衡量的十二项要求进行评分，并测量每次评估所消耗的能源，为环境影响增加运行层面的证据。我们让四个已部署的开放权重模型通过该要求流水线，仪表板会显示每项可衡量要求的得分。随后，一项被试内研究比较了参与者阅读这些基准测试结果的方式：一种条件下阅读原始输出文件，另一种条件下通过 VERA 仪表板阅读。该仪表板缩短了执行负责任 AI 评估所需的时间，平均从使用原始文件的 56 秒降至使用我们仪表板的 30 秒。在组织内部开展的调查中，我们的仪表板在实用性方面获得高分（5 分中的 4.36 分）。该仪表板和研究材料已公开发布，以促进在不同组织环境中的可复制性和可复现性。
| 评论： | 已被第 33 届亚太软件工程会议（APSEC 2026）软件工程实践 track 接收，印度尼西亚巴厘岛，2026 年 12 月 7-10 日。11 页，3 幅图 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.31588 [cs.SE] |
| （或 arXiv:2610.31588v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31588 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Robin Quériaux [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 17:23:39 UTC（5,553 KB）
来源：arXiv cs.CY · arxiv.org