arXiv cs.CL· Peidi Dong, Yunze Xiao, Yu-Lin Tsai, Yichen Zheng, Heyuan Huang, Weihao Xuan, Mark Dredze, Jen-tse Huang·· 10 小时前AI 评分31
TASC 基准评估对话助手的时间敏感安全感知能力
Before You Continue: Evaluating Time-Sensitive Safety Awareness in Conversational Assistants
AI 导读
研究提出 TASC 基准，用 3,418 条输入（源自 128 个模板）和 33 个场景评估 LLM 是否在对话中应用时间相关约束。在 13 个模型中，当建议动作违反规则时，助手仅在 30.5% 的情况下考虑了时间约束；62.1% 的失败案例中模型虽正确算出经过时间却未加以应用，明确给出时间信息也只能解决约一半的失败。
正文 · AI 翻译
摘要：大型语言模型（LLM）助手越来越多地帮助用户处理涉及时间相关约束的日常活动。然而，用户可能在后续请求中不提及这些约束，这就要求助手能够识别并相应调整其建议。为评估这一能力，我们提出了 TASC（对话中的时间行动安全），这是一个评估 LLM 在响应对话请求时是否应用时间相关约束的基准。TASC 包含由 128 个模板衍生的 3,418 条输入，以及一组单独的 33 个场景，用于比较模型计算经过时间的能力与其应用该信息的能力。在 13 个模型中，当所提议的行动违反规则时，助手仅在 30.5% 的情况下考虑了时间相关约束，同时很少不必要地警告用户。更重要的是，尽管模型正确计算了经过时间，但在 62.1% 的情况下未能应用这些约束。明确提供时间信息仅能解决其中约一半的失败，揭示了时间推理与其在对话建议中应用之间的差距。
| 评论： | 预印本 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06839 [cs.CL] |
| （或 arXiv:2611.06839v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.06839 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jen-Tse Huang [查看电子邮件]
[v1]
2026年11月4日星期三 17:54:49 UTC（1,448 KB）
来源：arXiv cs.CL · arxiv.org