arXiv cs.AI· Priyanka Sinha, Sugam Pandey·· 10 小时前AI 评分40
元认知校准决定人机协作中人类审阅者的价值:一项基于 AI 辅助会计系统的特质理论研究
Knowing What You Know: A Trait Theory of Reviewer Value in Human-AI Cognitive Systems
AI 导读
研究提出“审阅者价值特质理论”,认为在人类与 AI 模型协作决策时,决定人类审阅者价值的核心特质是元认知校准,即行为置信度与实际判断正确性的一致程度。基于 AI 辅助会计系统六个月内 541621 条审阅事件、483 名审阅者的数据,纯行为专家画像会把过度自信群体(5.2% 纠错存活率)排在真正专家(99.2%)之上,且审阅者质量在不同任职时长上基本持平。
正文 · AI 翻译
摘要:当一个能力出众的模型与一位人类审阅者就同一决策展开协作时,人类究竟还能贡献什么价值?我们认为,这关乎单一认知特质——元认知校准:即审阅者的行为信心与其判断实际正确性之间的对齐程度。我们提出一种审阅者价值的特质理论,以使其精确化。该理论提出五项主张:价值由校准而非活动量、速度、一致性或任职时长决定;校准会在行为遥测中留下可观测痕迹;这些痕迹本身不具诊断性,因为校准良好的专家那种快速、低修改的特征,与自信的新手难以区分,除非以结果为门槛加以筛选;人类的校准与模型的自我认知是同一构念,因此联合系统应在每个条目上服从校准更好的那一方;个体校准只有在高于单次判断的层面上才可因果识别。我们以一个人工智能辅助会计系统为期六个月的生产窗口(541621 个审阅者事件,483 名审阅者)为每项主张提供依据,并发现:纯行为化的专长画像会颠倒真实情况,将过度自信的群体(5.2% 的纠正存活率)评分高于真正的专家(99.2%);审阅者质量在任职时长上保持平稳,说明该特质并非在工作中习得;而将区分优秀与糟糕审阅者的同一校准逻辑应用于模型,可将 92.5% 的人力集中于真正的错误。最后,我们指出该理论必须尊重的边界:在多数投票聚合下,个体因果价值不可识别。
| 评论: | 已被第十三届认知系统进展年会(ACS)接收,英国爱丁堡,2026 年 10 月 6-9 日。获 2026 年 Ada Lovelace 奖之 ACS 优秀论文投稿奖之一 |
| 主题: | 人工智能(cs.AI);计算工程、金融与科学(cs.CE);人机交互(cs.HC);机器学习(cs.LG) |
| 引用为: | arXiv:2611.24932 [cs.AI] |
| (或 arXiv:2611.24932v1 [cs.AI] 为本版本) | |
| https://doi.org/10.48550/arXiv.2611.24932 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Priyanka Sinha [查看邮箱]
[v1]
2026 年 11 月 18 日周三 18:55:07 UTC(38 KB)
来源:arXiv cs.AI · arxiv.org