用 Jev 等决策语言模型过滤科学论文：author.link 的论文相关性排序实践

作者：A. Sina Booeshaghi · 2026年10月8日

arXiv、 bioRxiv 和 medRxiv 是免费使用的“预印本服务器”，科学家们在这里分享和发现科学。它们将我们与其他科学家、相关成果连接起来，并最终 推动科学前进（比期刊更快）。

但随着 AI 撰写论文的兴起，在预印本服务器上发现相关工作变得越来越困难。arXiv 报告称 2026 年 9 月收到 40,363 份投稿， 几乎是两年前收到数量的两倍，并警告称 AI 工具正让预印本服务器更容易被大量投稿淹没。这意味着找到值得阅读的论文变得更加耗时，留给阅读和理解它们的时间更少。科学家们如何才能不把所有时间都花在踩水上，而是保持漂浮？

一种解决方案是通过投稿上限来限制论文数量，这正是 arXiv 选择的做法。10 月 1 日，它 宣布每位投稿者每个日历月最多投稿两篇， 以减轻其版主的负担。这一决定遭到了批评。Sabine Hossenfelder 预测论文会变得更长， 而其他人则 认为欧拉若活在今天将无法发布他的作品。即使投稿速度放缓，更长的论文也可能让科学家们需要检索的内容同样多。

第二种解决方案是为科学家提供找到与其研究兴趣相关论文的方法。诸如 arXiv Sanity、 Scholar Inbox 和 Prompts & Papers 等工具已经通过 TF-IDF 和学习到的论文嵌入等技术提供个性化论文推荐。我假设决策语言模型能够以相当或更好的准确度，将论文直接匹配到科学家所陈述的兴趣，同时保持快速和低成本。我构建了 author.link 来检验这一想法，并帮助科学家确定阅读的优先顺序。

author.link 帮助你找到相关论文

你描述自己的研究兴趣（描述得越详细越好！）， author.link 会根据对你估计的相关性，对来自 bioRxiv、medRxiv 和 arXiv 的新论文进行排序。它每四小时检查一次新论文，并在论文到达时为其评分。（你也可以选择订阅每日电子邮件，其中包含相关论文的简短列表。）

author.link 使用决策语言模型（LM）对论文进行排序。它不是依赖 LLM 来总结论文并让你筛选摘要，而是由决策 LM 直接对论文的相关性进行评分。给定你的研究兴趣以及论文的标题和摘要，模型会返回该论文与你相关的估计概率。 Typesafe 的 Jev 提供了这一接口， OpenAI 的 Decisions API 以及诸如 Laya 和 Cloudflare 的 Clef 等开放权重模型也是如此。

author.link 有意不评估科学质量；它只是一个针对与你兴趣相关性的过滤器。一篇论文可能很优秀，但与你的工作完全无关。另一篇论文可能引入了一种对你有用的方法或数据集，但对其他人来说并不重要。正如我在 你的论文真的很烂吗？中所论述的， 为科学质量赋予一个通用分数，比帮助某人决定接下来读什么要强得多——author.link 做的是后者，并把评估工作留给你这位科学家。

决策语言模型对相关性进行排序

为了测试决策 LM 对相关论文的排序效果，我在两个基准上比较了 Jev（jev-1.13.0）与 OpenAI 的 Decisions API（gpt-6-luna）。

第一个基准由 66 篇论文组成，我选择这些论文是为了测试它们与我研究兴趣的固定描述之间的相关性。它包含 22 篇我合著的论文、22 篇关键词匹配的对照论文，以及 22 篇没有这些关键词匹配的对照论文。我分别用这些组作为与我的研究兴趣高、中、低相关性的代理。我称之为 Sina's Science Relevancy Benchmark（SinSciRelBench）。第二个基准是 RELISH， 一个由人类判断论文与其他论文相关、部分相关或不相关的数据集。

对于每个基准，两个模型都接收相同的输入和相关性标准。我使用 Jev 的 noul 选项和 OpenAI 的 predicate 选项来给相关性打分。（注意：0.8 的分数不应被解读为读者有 80% 的既定概率会觉得这篇论文有用。）

Jev 和 OpenAI 的 Decisions API 在 SinSciRelBench 中对论文的相关性排序基本一致（Spearman 相关系数 0.945）。在将我的论文与关键词不匹配的对照论文区分开时，Jev 达到了 0.981 的 ROC AUC，OpenAI 达到了 0.915。将两个对照组都纳入后，比较变得稍微更难（AUC 分别为 0.938 和 0.893）。有趣的是，两个模型也都给一篇关键词匹配的对照论文 Gravlax 打了高分（Jev 为 0.92，OpenAI 为 0.98）。原来，这篇论文的作者是 Rob Patro 教授， 他的工作与我的工作高度重叠！

在 RELISH 上，两个决策模型都优于 TF-IDF，后者是一种使用共享词来衡量相似度的基线。在区分相关与不相关论文时，Jev 达到了 0.893 的平均 ROC AUC，OpenAI 达到了 0.872，而 TF-IDF 为 0.721。将相关论文与部分相关和不相关论文都区分开则更难（AUC 分别为 0.799、0.785 和 0.653）。

两个模型都快速且便宜。OpenAI 的中位响应更快，而 Jev 的慢响应更少且成本更低。在输入 token 费率为 Jev 每百万 $0.042、OpenAI 每百万 $0.10 的情况下，OpenAI 在 SinSciRelBench 上的成本约为 Jev 的 1.87 倍（输出 token 免费）。

SinSciRelBench 当然只是一个单人构建的小型基准，而 RELISH 测试的是一个相关但不同的问题（寻找与其他论文相关的论文，而不是与科学家所述兴趣相关的论文）。真正的考验在于 author.link 能否帮助其他科学家找到他们真正想读的论文。

给科学家一件救生衣，让他们去写作

限制科学产出以应对投稿论文的爆炸式增长，就像 从正在下沉的船里往外舀水。 相反，我们需要能帮助科学家发现与自己相关的工作、并让评估这些工作变得更容易的工具。

author.link 就是我为这一解决方案所做的尝试——可以说是一件让科学家保持漂浮的救生衣——它得益于快速且低成本的决策语言模型。科学家可以继续分享他们的工作，读者也能找到与自己相关的论文。

请试用 author.link，并 向我发送反馈。 它是否呈现了你想读的论文？它遗漏了什么？这是一个正在积极开发的项目，你的反馈将非常有帮助。