Jev 与 Claude 盲测标题判断对比：交易前须过六道关卡

• Alex Vidovich · 独立研究员 · alexvidovich.com
• Zivana Zerjal · 独立研究员 · zivanazerjal.com

2026年10月9日 · 11页 · 工作论文 · 发布于SSRN

摘要

文本模型可以像温度计守在病人身旁那样，守在一个实时交易系统旁边：它只读取，从不处方。我们跟踪这样一个模型进入一个实验室，该实验室在同一账户上运行一个日内策略和一个隔夜策略。它是一个小型商业评判器，固定于一个版本，只回答关于新闻标题的键入式问题。我们描述了针对文本信号的六项测试：对照真实标签正确读取一个简单事实、超越对其自身标题的简单计数、对著名过往事件不表现出记忆、两次给出相同答案、始终看到决策时点的日期，以及对照随机标记检查每条前瞻性判定规则。这些测试是在三天内拼凑起来的，其中大多数是在一次失败之后，我们将其作为现在会事先应用的检查清单来呈现。我们在盲测行上将评判器与一个通用聊天机器人进行比较，列出它可以触及的内容（收盘后写入的标记，按前瞻计数）和它永远不能触及的内容（交易系统中的任何数字），并报告了破坏其读取结果的管道故障。迄今为止它的读取结果很小：一个事实读取良好，一个小效应低于其门槛，若干效应消失；该事实是在一种设置下读取的，其相对于简单标题计数的优势处于临界状态。六项测试中没有一项本身是新的；新的是在一个实时系统旁的文本工具上把它们一起使用，并报告它被用于的每一项研究，包括失败。这是一篇关于检查数据和工具的论文，而非关于利润：我们不对任一策略的回报作出任何声明。

关键词： 大语言模型、文本分类、新闻分析、预注册、前视偏差、研究基础设施、交易系统

JEL分类： G14, G17, C45, C52, C81, C88

引用格式：

Alex Vidovich and Zivana Zerjal (2026). A Thermometer, Not an Analyst: Lawful Uses of a Text Judge in a Live Trading Lab. Working paper, alexvidovich.com. https://doi.org/10.2139/ssrn.7589261

BibTeX

@techreport{vidovich2026text,
  title   = {A Thermometer, Not an Analyst: Lawful Uses of a Text Judge in a Live Trading Lab},
  author  = {Alex Vidovich and Zivana Zerjal},
  year    = {2026},
  month   = {10},
  type    = {Working paper},
  institution = {alexvidovich.com},
  doi     = {10.2139/ssrn.7589261},
  url     = {https://alexvidovich.com/papers/text-judge},
}

仅为研究与教育内容。本页不报告任何实时系统的表现，也不作出任何盈利性声明。