arXiv cs.CY· Jonathan Prunty, Marko Te\v{s}i\'c, Patrick Quinn, Jos\'e Hern\'andez-Orallo, Lucy Cheke·· 10 小时前AI 评分34
用认知能力画像评估 AI 对工作任务的适用性
Using profiles of cognitive capability to assess AI suitability for workplace tasks
AI 导读
研究者提出一套认知能力画像流程，用同一组核心认知维度同时刻画 AI 智能体与工作任务：前者由标注了认知需求的 benchmark 测试集推断，后者由领域专家给出各能力权重，从而在领域、组织、角色或具体职责层面估算 AI 适用性。
正文 · AI 翻译
摘要：部署 AI 的组织面临一个范围界定问题：哪些任务可以自动化，哪些应保留给人类，哪些最适合由两者共同完成。聚合基准分数几乎无法说明系统在实践中会在哪里成功或失败，而人类对模型能力的判断很快就会过时。我们引入了一条流水线，使用一组共享的核心认知能力来刻画智能体和任务。认知能力画像根据智能体在基准测试组上的表现推断其能力，该测试组的每个项目都标注了认知需求。任务需求加权从领域专家处获取这些相同能力对其工作的相对重要性。由于两者使用共同的认知维度集，它们可以随着模型和角色的变化而独立更新，并结合使用以在领域、组织、角色或个人职责层面估计 AI 适用性。我们在合成智能体上验证了能力恢复，对六个 AI 系统进行了画像，并从六个职业领域的 410 名员工处获取了任务需求。AI 系统在认知维度上的差异大于在模型家族上的差异，而工作场所活动则收敛于一个共享的认知核心。由此产生的分数提供了一种比较性范围界定工具，用于识别有前景的试点候选领域以及当前系统不太可能适合的领域。我们讨论了将该框架扩展到同时刻画人类工作者和 AI 系统，从 AI 适用性转向人机任务分配。
| 主题： | 人工智能（cs.AI）；计算机与社会（cs.CY）；人机交互（cs.HC） |
| 引用为： | arXiv:2608.25623 [cs.AI] |
| （或此版本的 arXiv:2608.25623v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2608.25623 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jonathan Prunty [查看电子邮件]
[v1]
2026年8月26日星期三 10:48:09 UTC（3,026 KB）
[v2]
2026年11月4日星期三 17:06:06 UTC（3,027 KB）
来源：arXiv cs.CY · arxiv.org