arXiv cs.AI· Mohammad Reza Rezaei, Dingxian Wang, Brett Levert, Celeste Fejzo, Andrew Rabinovich, Zhao Chen·· 11 小时前AI 评分40
PAYWORTHY：LLM 能否预测 AI 智能体将完成哪些自由职业工作？
PAYWORTHY: Can LLMs Predict Which Freelance Jobs an AI Agent Will Complete?
AI 导读
研究提出 PAYWORTHY 基准，含 1,494 条真实自由职业招聘帖（从 2020 至 2026 年间 18.8M 条中采样），测试 18 个模型在智能体尝试前预测任务成功率的排序能力。
正文 · AI 翻译
摘要：在 AI 智能体承接一份有偿工作之前，必须有人判断它是否有可能成功。我们测试前沿语言模型能否在尝试之前做出这一判断。我们提出 PAYWORTHY，其中包含 1{,}494 条真实自由职业职位发布，这些职位是从某自由职业平台 2020 年至 2026 年间发布的 1880 万条职位中抽样得到的。智能体仅依据职位发布内容，在一次运行中尝试完成每项工作，而充当客户的 LLM 评审决定是否接受该工作。我们让 18 个模型预测智能体成功的可能性，并衡量每个模型的预测在将已接受的工作排在已拒绝的工作之上方面的表现（AUC，0.5 表示随机排序）。答案取决于如何描述该智能体。在告知智能体不能做什么时，每个模型都能很好地排序这些工作（AUC 0.66--0.86）。而如果改为告知它是一个带有浏览器和代码执行能力的通用智能体，同样的模型对同样的工作排序效果与随机排序大致相当（0.45--0.56）。这些结果在来自另外四个模型家族（Claude、GLM、Kimi 和 Qwen）的评审下依然成立，并且知情预测也能对两位人类评分者的判定进行排序。
代码可在 此 https URL 获取
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.05759 [cs.AI] |
| （或 arXiv:2611.05759v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05759 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mohammad R. Rezaei [查看电子邮件]
[v1]
2026 年 11 月 3 日星期二 23:59:53 UTC（1,440 KB）
来源：arXiv cs.AI · arxiv.org