arXiv cs.CL· Yunhua Pei, Jingyu Hu, Yiwei Shi, Hongnan Ma, Weiru Liu, John Cartlidge·· 10 小时前AI 评分34
StakeBench：基于市场承诺评估语言理解的新基准
StakeBench: Evaluating Language Understanding Grounded in Market Commitment
AI 导读
StakeBench 是一个基于市场承诺的语言理解评测框架，将 Polymarket 和 Manifold 上 2,261 个已结算市场的 560,876 条评论与持仓、交易动作和市场赔率记录关联，用可观测市场行为替代人工标注。
正文 · AI 翻译
摘要：现有的金融 NLP 基准往往依赖外部观察者提供的标签，衡量的是语言如何被感知，而非说话者在市场中实际承诺了什么。我们提出 StakeBench，一个以市场承诺为基础的语言理解评估框架。StakeBench 将来自 2,261 个已结算市场的 560,876 条评论与 Polymarket 和 Manifold 上经核实的持仓、操作和市场赔率记录关联起来。监督信号源自可观察的市场行为。持仓方向、评论后的交易操作以及市场赔率轨迹取代了人工标注。四项诊断任务检验模型能否检测市场承诺、识别所揭示的方向、预判未来操作，以及执行集体赔率预测。三项承诺感知指标衡量的是与所揭示偏好的一致性，而非与感知情绪的一致性。有效性审计和明确的解释边界有助于区分可观察的承诺信号与潜在信念及因果性市场赔率影响。在 15 个 LLM 以及 18 个主题和平台设置中，模型能部分恢复持仓方向信号，定向准确率从 0.506 到 0.599，但在后续任务上表现出结构性失败。十五个模型中有十个在未来操作预判中坍缩为一到两个操作标签，且没有模型在集体赔率预测中能持续优于朴素的赔率方向基线。模型规模与性能不相关，金融领域微调并未改善所揭示方向的识别，平台激励强烈塑造了高阶结果。StakeBench 以 CC-BY 4.0 许可打包提供评估代码和数据集。
| 评论： | 28 页，2 幅图，20 张表。已录用作者手稿，NeurIPS 2026（评估与数据集方向）。包含数据集和评估代码 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；一般金融（q-fin.GN） |
| 引用为： | arXiv:2605.26074 [cs.CL] |
| （或 arXiv:2605.26074v2 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2605.26074 由 DataCite 颁发 arXiv DOI |
提交历史
来自：John Cartlidge [查看邮箱]
[v1]
2026 年 5 月 25 日星期一 17:38:30 UTC（740 KB）
[v2]
2026 年 11 月 10 日星期二 10:59:17 UTC（758 KB）
来源：arXiv cs.CL · arxiv.org