arXiv cs.CL· Jhen-Ke Lin, Chung Chun Wang·· 6 天前AI 评分30
StreamDecisionBench：评估语言模型在动态语言流上的决策能力
StreamDecisionBench: Evaluating Decisions in Force on Evolving Language Streams
AI 导读
研究者发布 StreamDecisionBench（SDB），包含四大应用家族的八个流式场景数据集，并提出 in-force accuracy 指标，衡量 0.5-8 秒更新间隔内所应用决策的正确时间占比。
正文 · AI 翻译
摘要：语言模型越来越多地在应用中实时做出决策，这些应用会一直沿用最新答案，直到更新的答案到来。迟到的答案会延长过时的决策，例如在客户读出卡号时通话录音仍在运行，这是离线准确率所忽略的错误。我们做出三项贡献。第一，我们发布 StreamDecisionBench（SDB），这是一个包含四个应用类别下八个流式场景的数据集，并附有源自公开规则的可执行参考决策。第二，我们提出一种评估协议和一个指标——生效准确率：在 0.5-8 秒的更新间隔内，所应用决策正确的时长占比。它联合反映准确率和延迟，将每个错误归因于判断、延迟或两者。第三，我们评估了十五种单模型设置，这种归因将速度受限模型与判断受限模型区分开来：较慢但更准确的模型有 42-47% 的时间因过时答案而失误，而一个快速模型有 35% 的时间因错误答案而失误。因此我们测试了由慢模型纠正快模型的混合方案；在正确的配对和配置下，混合方案优于所有单模型。然而，即使是被评估的最佳系统，其正确决策的生效时间也仅约占三分之二，距离实时使用仍有很大差距。
| 评论： | 32 页，9 幅图。代码和数据：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.38612 [cs.CL] |
| （或 arXiv:2609.38612v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.38612 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jhen-Ke Lin [查看电子邮件]
[v1]
2026 年 9 月 29 日星期二 22:15:49 UTC（223 KB）
[v2]
2026 年 10 月 1 日星期四 14:48:21 UTC（261 KB）
[v3]
2026 年 10 月 9 日星期五 16:51:55 UTC（328 KB）
来源：arXiv cs.CL · arxiv.org