跳到正文
arXiv cs.CY· Wanchun Ni, Tao Qi, Leonel Aguilar, Jiugeng Sun, Marlene Wagner, Verena Zimmermann, Mennatallah El-Assady·· 10 小时前AI 评分29

STRIDE:面向多样化场景的文本到轨迹对齐自动评估框架

STRIDE: Automated Evaluation of Text-to-Trajectory Alignment across Diverse Contexts

AI 导读

STRIDE 是首个评估场景描述与行人轨迹之间上下文对齐的框架,无需人工轨迹数据即可实现可验证、自动化的规模化评估。其实例 STRIDE-Bench 覆盖 30 张真实地图、1K 场景、6K 行为问题与 11K 测量,人类一致性达 80%。对多个文本到轨迹模型的评测显示,上下文对齐能力有限,细粒度上下文条件控制仍是持续挑战。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:语言条件轨迹生成已经到来,但其评估尚未跟上。现有的行人轨迹指标将轨迹与真实世界人类数据进行比较。这无法扩展到跨多样上下文的文本到轨迹生成,因为为每个场景收集人类轨迹成本高昂且不可行。此外,行人行为是异质且依赖上下文的,没有单一指标是正确答案,而当前的评估框架无法迁移到这一领域。这些挑战使可扩展、可靠的评估变得困难。我们提出 STRIDE,这是首个用于评估场景描述与行人轨迹之间上下文对齐的框架。STRIDE 通过三项设计选择应对这些挑战。首先,我们从社会学理论中推导出 VRDST 评估协议,以定义完整的评估空间。其次,它将高层上下文分解为场景自适应的行为问题。第三,每个问题都通过确定性测量工具库来解决,从而产生可复现的答案。总之,STRIDE 能够在无需人类轨迹数据的情况下,跨多样上下文实现可验证、自动化且可扩展的评估。我们在人群领域将 STRIDE 实例化为 STRIDE-Bench,包含 1K 个场景、6K 个行为问题和 11K 项测量,并在 30 张真实世界地图上校准了预期答案。全面的真人验证表明,STRIDE-Bench 与人类行为和判断一致,达到 80% 的人类一致率。我们进一步评估了若干文本到轨迹模型,发现其上下文对齐能力有限,且在细粒度上下文条件化方面持续存在挑战。我们相信,STRIDE 框架为上下文对齐的行人轨迹生成的原则化评估迈出了第一步。
评论: 已被 NeurIPS 2026 接收,Evaluations & Datasets Track
主题: 人工智能(cs.AI);计算机与社会(cs.CY)
引用为: arXiv:2609.34799 [cs.AI]
  (或此版本的 arXiv:2609.34799v3 [cs.AI])
  https://doi.org/10.48550/arXiv.2609.34799

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Wanchun Ni [查看电子邮件]
[v1] 2026年9月28日星期一 10:01:45 UTC(2,661 KB)
[v2] 2026年9月29日星期二 09:09:24 UTC(2,661 KB)
[v3] 2026年11月4日星期三 14:44:10 UTC(2,664 KB)

来源:arXiv cs.CY · arxiv.org