跳到正文
arXiv cs.AI· Jason Armitage, Ioannis Tsochantaridis, Linda Mazzone, Chuqiao Yan, Srini Narayanan, Sarah Ebling·· 10 小时前AI 评分34

MAP:首个评估多模态 AI 无障碍出行规划能力的基准

MAP: A Benchmark on Multimodal Accessibility Planning for Real World Places

AI 导读

研究者推出 MAP,首个评估多模态 AI 系统作为无障碍需求用户出行规划助手的基准。MAP 包含无障碍规划声明核验与视觉证据检索两项评估,检查系统能否判断地点无障碍信息是否有据、并选出对应地点的视觉证据。该基准采用自动评分加部分人工评分,并按计划时间刷新真值数据以应对信息随时间变化。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:我们推出 MAP,这是首个用于评估多模态 AI 系统作为助手、在用户具有无障碍需求时协助其规划实地场所访问的基准。在我们的评估中,系统会收到请求,要求其验证或推荐满足某项无障碍需求的地点。MAP 包含两项新颖的评估:无障碍规划中的声明验证,评估关于地点和所述无障碍功能的信息是否有依据,并识别满足所请求无障碍功能的地点。无障碍规划中的视觉证据检索,检查多模态 AI 系统能否为所请求的地点和无障碍功能选择视觉证据。我们的方法支持在场所信息和无障碍信息可能随时间变化的环境中比较 AI 系统,方法是按计划时间评估系统并刷新真实数据。该基准基于对一部分响应的自动评分和人工评分。
主题: 人工智能(cs.AI)
ACM 分类: I.2.7; I.2.10
引用为: arXiv:2608.28384 [cs.AI]
  (或 arXiv:2608.28384v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2608.28384

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Jason Armitage [查看电子邮件]
[v1] 2026年8月28日星期五 14:41:24 UTC(9,853 KB)
[v2] 2026年11月18日星期三 12:53:35 UTC(7,379 KB)

来源:arXiv cs.AI · arxiv.org