DecoverAI 构建法律证据推理的 RL 环境与数据集

一个围绕 Matter 构建的法律代理评估基准，USA v. Cascade Timber Holdings, Inc.，由 DecoverAI 构建。它是一个带有植入证据链的电子邮件语料库，旨在用于训练和评估模型在法律证据推理方面的能力：响应性、特权、时间顺序、知识分析以及跨多个文档的关联。所有公司、人物和事件均为虚构。

尚未准备好用于训练。内部评估（suggestions.md）给它打分 Q ≈ 49/100，处于标记为“禁止用于训练”的区间。作为演示和评估种子它是合理的，但答案通过标头泄露，监督目标很少，一些事实相互矛盾，而且只有一个 Matter。使用前请阅读已知问题。

概览

所有任务

目录遵循 FrontierSWE v2 中的链接任务表格式。它涵盖此仓库中的 51 个不同任务。19 个诉讼技能家族 ID 包括现有试点的两个别名：CTH-LIT-09 映射到 CTH-PRESERVATION-001，CTH-LIT-10 映射到 CTH-CHRONOLOGY-001；这些片段只计数一次。

旗舰调查（10）

代理可见的提示位于旗舰任务包中。这些使用基于证据的评分标准。

原子、检索和关联任务（18）

代理可见的提示位于原子任务包中。这些使用相同的基于证据的评分标准；难度和划分按提示记录。

可执行 RLVR 试点（6 个）

这些任务具有确定性验证器。前四个是单轮； 保存和时间线是多轮搜索/读取/提交片段。 参见 RLVR 运行器 和 证据代理接口。

诉讼技能片段（17 个新增；19 个系列含试点别名）

这些有界开发片段具有确定性证据和产物检查。 注册表 是任务包、 试点别名和依赖项的权威来源。参见 套件用法 和 覆盖范围和审查状态。 它们评估一个事项内提供的政策练习；遗留的保存 和时间线试点仍需要单独的独立 oracle 审查。

CTH-LIT-19 在缺少触发条件的情况下测试结案就绪状态；将其纳入并不意味着结案已获授权。

模型排行榜

完成于 2026 年 10 月 9 日：10 项任务，每个模型每项任务 10 次运行，五个模型，500 个已完成回合，使用 Cascade Timber。 最终十项任务仪表板（私有 Sites 访问权限）包含任务级均值、计分次数、变异性和 CSV 导出。分数是确定性验证器奖励，以百分比表示。

最终综合分对十项任务均值等权，每项任务均值基于十次计分运行。观测任务均值使用可用的计分运行并对任务等权；它对 Grok 和 GLM 而言不完整，而非最终综合分。Grok chronology 在一次无效提供商响应后有 9/10 次计分运行；GLM triage 在耗尽回合输出 token 预算后有 9/10 次。这两个回合仍未计分；所有计分的零分均保留。任务均值标准差对十项任务内样本标准差取平均，以百分点计；它不是综合置信区间。最差–最佳范围涵盖全部十项任务中已计分的回合。

全部 500 个回合均通过已保存回放验证，覆盖 21,331 次转换。共有 498 个计分回合和 0 次完全通过。记录的提供商总成本为 $726.28，包括所有记录的尝试，且没有未知成本的调用。每个回合以全新上下文开始，最多允许 300 个动作；请求的推理强度为低，每次请求 16,384 个输出 token，每个回合 131,072 个输出 token。每个模型都收到修正后的模型中立搜索/读取/提交指令；提供商回退已禁用。

这些开发结果涵盖一个合成事项中的十项任务。保存和 chronology 仍需要独立的等效证据 oracle 审查。严格的产物格式和已接受证据匹配会影响分数；这些评分器不衡量自由形式文本质量。请求的推理强度相同并不意味着各提供商的算力相同。

此前的 50 回合 chronology 试点与本排行榜相互独立；其 结果摘要和 各回合得分仍然可用。那些试点分数以及 Gemini 单独的单项验证均未纳入最终十项任务结果。

为什么该语料库有趣

• 你必须连接文档。该语料库的构建方式使得没有任何单一文档能解决一个问题。以申请提交前是否已知面积问题为例：回答它需要选择权日期、申请日期、分类账条目和一名员工的角色，而这些都来自不同文档。
• 过去从不以后见之明书写。每批文档都会扫描其作者当时不可能知道的术语，例如传票、律师聘用或暂停。结果见 CONTINUITY_BATCH0N.md。模型无法从一份写得“太早”的文档中获取答案。
• 各项规则以对比对的形式出现。特权、工作成果、Kovel 顾问、bare forwards 和响应性各自呈现为小链条：一个明确的正例、一个明确的负例和一个真正模糊的案例。
• 有些解读是故意留白的。有几个问题在设计上就是[DISPUTED]，例如 EMAIL-117（是笔误还是掩饰故事？）。正确的输出是陈述这种不确定性，而不是强行贴标签。
• 这些邮件看起来像真实收集的邮件。引用历史每回复一层嵌套一级，引用格式遵循每个发件人的邮件客户端（Outlook 或 Gmail），每个组织有自己的签名，时区遵循夏令时，约三分之一的语料是常规噪音、诱饵和近似重复内容。
• 是长线程，不只是成对邮件。前四个扩展线程（THR-001–004）各有 12–14 封邮件，包含分叉、增删人员的全部回复、旁路转发和未答复的问题。加上密度扩展后，最长的连贯回复链深达 14 层。
• 更密集的证据链。THR-005–007 为已持有的 Q4 数据包、向买方的来源信用分配以及一个有日期的补救试点新增了 32 封邮件和八条辅助文本记录。新增的虚构事实、反证和故意未解决的问题见扩展登记表。
• 真实合同，带版本。KW-01/02 期权协议从草稿（DOCX）到湿签扫描件（PDF，无文本层）。Bellhaven 信贷购买协议和经纪人前模板也带有各自的版本历史。每封邮件携带其日期当天存在的版本，而data/contracts/中的副本与附件逐字节相同，因此哈希去重会将它们关联起来。
• 签名徽标。Outlook 风格的组织（Cascade Timber、L&L、Moss & Lane、Whitaker）在 HTML 部分带有内联徽标，引用的签名也保留各自的徽标，因此长线程会堆积image001.png、image002.png等。内联徽标不计为附件。种子保留其原始结构。

布局

data/emails/                          # corpus (tracked; new files need `git add -f`, see .gitignore)
  Custodians/<Name>/EMAIL-NNN_<subject>.eml
  Loadfile_Cascade_Timber.{csv,dat}   # load file: all 1,486; newest 32 have blank review labels
  README.md                           # corpus build notes (v3 realism pass)
data/emails/Exhibits/                 # 38 standalone exhibit PDFs + ../Exhibit_Manifest.csv (not attached to emails)
definitions/                          # labeling protocols: Responsiveness, ACP, Work Product, Subpoena (summons)
logs/                                 # batch ledgers, continuity reports, thread logs, demo privilege log (untracked)
benchmark/                            # tasks, hidden gold, splits, schema, rubric, GOLD_LABELS.csv
documentation/                        # AUTHORING ONLY:
  CASE_BIBLE.md  EVIDENCE_ARCS.md     #   ground-truth world model; arcs A–J, planned joins and open questions
  DOCUMENT_MANIFEST.csv               #   1,454-row plan with arc, event and evidentiary role
  CONTRADICTIONS_RESOLVED.md          #   decisions and edits for the four known contradictions
  MATTER_AGENT_TASKS.md  suggestions.md  Cascade_Timber_EML_Dataset_Plan.md
output/dataset_inconsistency_report.md  # document-consistency review + resolution log
data/contracts/                       # standalone contract collection (every version) + INDEX.csv → carrying emails
tools/exhibit_kit/                    # rebuilds the standalone exhibits from one spec
tools/doc_kit/                        # attachment builder: versioned library docs → PDF/DOCX/XLSX, scans, apply to emails, publish
  library/  plans/                    # document content + version history; email→version attach plans (ATT-00N)
tools/thread_kit/                     # thread expander: context, validate, render, rollback, scan, logos
  rules.json                          # knowledge cutoffs, participant windows, logo orgs (AUTHORING ONLY)
  logos/                              # org logos (full size + signature size)

今日可用的监督

这些邮件不携带标签头：X-Decover-*头已从原始 1,454 个文件中剥离，32 个新增文件中也缺失。DocID 位于文件名（EMAIL-NNN_<subject>.eml）和加载文件中。整个原始语料的文档级标签在benchmark/GOLD_LABELS.csv中（机器起草，专家审核待定）。最新的 32 份文档未经审核，未包含在这些标签或现有的哈希固定基准快照中；它们的加载文件标签列为空。

划分与泄漏

• 不要随机划分。同一线程或证据链中的文档彼此作答。benchmark/splits/evidence_packages_sample.csv按家族定义必须保持在一起的包，目前有 17 个。
• 任务划分为 train、test_id（训练中见过的一种技能，用于未见过的家族）以及 test_ood（留出的旗舰组合）。映射关系见 基准 README。
• 这一切都属于同一事项。留出划分衡量的是该事项内部的泛化能力， 而非向新事项的迁移。为评估构建第二个独立事项的工作 仍待开展。
• 让模型远离：加载文件的 TAG 和 PRIVILEGED 列（将其扣留；邮件本身不再 带有标签表头）、 CASE_BIBLE.md、EVIDENCE_ARCS.md、清单的 arc/event_id/role 列、 账本以及 hidden_gold/。模型可以查看 EML 正文、Definitions 文件以及 普通加载文件元数据。

已知问题

这些问题源自 suggestions.md 和 output/dataset_inconsistency_report.md。基准任务 不依赖于它们。

• 已解决（2026-09-28）：§ 7602 传票/传唤框架、两个 Kevin Tran 身份、 两个 Cascade 地址以及截止日期链。见 documentation/CONTRADICTIONS_RESOLVED.md。
• 已解决（2026-09-29）：data/emails/Exhibits/ 中的独立附件现在与 已签署合同和种子邮件一致（Clearwater 期权日期与分期付款、买方批次金额、 OR/WA 备案回执日期、状态页脚、占位数字）。由 tools/exhibit_kit/build_exhibits.py 重建；解决日志位于不一致报告末尾。
• Still open, by design or header-locked:
  • 种子地块 CSV 和 GreenAcre 勘测（EMAIL-037/039）使用 NW-1042…NW-1093 以及与 CASE_BIBLE.md §2 中 NW-01…NW-08 表 不同的英亩数对。不存在对照表；不要 按位置合并它们。
  • 生成邮件主题中的“Batch N”和“buyer lot N”是模板化标签，并不对应 附件或已签署协议。买方记录应按买方、日期和金额关联，而非按 批次或地块编号。
  • EMAIL-793（9/8/22）的主题引用了 9/15 通知；四条生成的“extension chain” 备注早于传票。两者都是 Subject 表头时代错误，因表头已锁定而保留。
• 特权日志与语料库不同步。其 1,009 行中的大多数所列出的人 并未出现在语料库中。
• 工作簿搜索查询和年表已过时。它们仅覆盖 EMAIL-001–030。
• 邮件简短且方便。回复平均约 32 个新词，且一些 承认过于整洁（例如“keep this between us”）。thread_kit 线程对此提出 反驳：它们有更长的回复、一个标记整洁承认的验证器，以及保持开放的 模糊解读。
• 生成不可复现。未记录生成器或模型版本或文件哈希。

使用它

对于单轮、多模型 RLVR 任务（日期提取、证据审计和 收集对账），见 benchmark/rlvr/README.md。它包括离线 自测、OpenAI/Anthropic/Gemini/OpenRouter 适配器、确定性评分以及保存的 JSON 运行记录。

1. 用任何 MIME 库解析 .eml 文件。使用 DATESENT 或 Date: 表头来 确定年表。DocID 顺序遵循收集顺序，而非时间。
2. 从模型输入中扣留加载文件的 TAG/PRIVILEGED 列和 benchmark/GOLD_LABELS.csv。 .eml 文件已经干净：没有 X-Decover-* 表头。
3. 按证据包而非按文档构建示例，并留出整个证据包。
4. 对于种子标签之外的任何标签，从 CASE_BIBLE.md 和 基准金标准生成目标，并让专家审查它们。在支持它们的文档存在之前，将 [PROPOSED] 事实 视为未知。
5. 用 benchmark/eval/scoring_rubric.md 评分。它涵盖证据召回、 连接正确性、反证、对不确定点的克制、引用准确性以及 停止效率。

状态与路线图

• 全部 1,400 份计划文档均已渲染。线程扩展又增加了 54 份：THR-001 Clearwater 侦查（EMAIL-1401–1412）、THR-002 Bellhaven 注册（1421–1434）、THR-003 第四季度推进（1441–1454）以及 THR-004 240 万美元估算（1461–1474）。它们的规格和报告在 Logs/threads/ 中。
• 经授权的密度补充增加了 THR-005–007（EMAIL-1475–1506），使总数达到 1,486 条消息。所有原始电子邮件保持字节级一致。故事规格、一个元数据同步/检查脚本以及验证结果在 tools/thread_kit/expansions/ 中；编写登记册解释了这些新增内容及其限制。
• The top fixes for training readiness, from suggestions.md:
  1. 将标签移出标头。
  2. 编写 150–200 个由专家审核的示例，涵盖多标签响应性、特权依据、时间顺序和基于事实的问答，包括正确答案为弃权的示例。
  3. 解决上面列出的矛盾。
  4. 修正传票/传唤的错误标注。
  5. 为评估增加第二个事项，以及哈希值。