arXiv cs.CL· Yuchuan Weng, Chi Liu, Xin Chen, Srinivasan Manoharan·· 12 小时前AI 评分52
自研 Jev 式类型化判定：单次前向传播，从内部判官到开源 LoRA 模型
Our Own Jev: Typed Decisions in One Forward Pass, from an In-House Judge to Open LoRA Models
AI 导读
论文报告了 Jev 式类型化判定的两种用法：一次前向传播读取模型 logits 或隐状态上的小型预测头，直接为每个选项输出概率，无需生成并解析文本。
正文 · AI 翻译
摘要：类型化决策将证据、一个问题以及一组固定选项映射为每个选项的概率，通过一次前向传播计算得出：读取语言模型的 logits，或在其隐藏状态之上接一个小型预测头，而不是生成并解析文本。商业系统 Jev 推广了这种 System~1 接口，随后出现了若干开源复现。我们报告该模式的两种用途。\emph{第一部分}描述了一个内部 System~1 评判器，用于为训练语料筛选约 148K 条智能体编码会话记录。它取代了一个前沿 LLM 评判器，后者每轮成本约为 \$1,000，且其存储标签在两位评判者意见一致的会话中，仅有 26.9\% 与新的双评判者共识相符；一个自托管的冻结骨干网络，配有 rank-16 LoRA 适配器和指针头，在一次前向传播中回答三个类型化问题，在单块 GPU 上约三分钟内评判 1,000 条会话，按参考费率约 \$0.06，约为前沿评判器成本的 1\%，并且所有会话都保留在组织内部。\emph{第二部分}探讨不增加参数的读出是否具有竞争力，以及训练这样的读出是否有帮助。将公开的 Eikos 配方和约 25K 条决策的语料应用于另外三个骨干网络（1B、2B 和 35B），我们读取了经 LoRA 适配的解码器的冻结输出层。在 JevBench 的 111 个公开困难条目上，我们的单种子 35B（开发时已参考这些条目）得分为 79.3\%，与商业参考（73.0\%，未校正 $p=0.12$）无显著差异，并在 Holm--Bonferroni 校正后领先于五个开源系统；我们的 2B 在排行榜上领先于全部四个 kev 检查点。单种子消融实验未发现训练输出层 26 个字母行有任何可检测的收益，而在后续语料版本上重新训练使 2B 的困难层级准确率变动了 11.7 个百分点，这表明小型评估的分辨能力多么有限。
| 评论： | 22 页 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；信息检索（cs.IR）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.29052 [cs.CL] |
| （或本版本的 arXiv:2610.29052v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.29052 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chi Liu [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 01:28:58 UTC（482 KB）
来源：arXiv cs.CL · arxiv.org