arXiv cs.AI· Thomas Davidson·· 4 小时前AI 评分39
人类与 AI 在内容审核困境推理中对任务难度的反应相似
Humans and AI respond similarly to task difficulty when reasoning about content moderation dilemmas
AI 导读
一项用内容审核任务操控难度的实验发现,六个大型推理模型与 1,854 名人类受试者表现相似:当两条帖子冒犯性持平时,人类判断时间延长 31%,模型生成的 CoT 长度增加 51% 至 306%。
正文 · AI 翻译
摘要:大型推理模型(LRMs)在给出答案之前会生成中间推理步骤,通过迭代地发展解决方案来提升在困难问题上的表现。有证据表明,LRMs 在人们需要更长时间解决的问题上会投入更多精力,但这些关系在缺乏可验证答案的更具主观性的任务上是否成立尚不清楚。本研究通过一项内容审核任务的实验来探讨这一问题,该任务通过改变两个不同选项的相对冒犯性来操纵任务难度。通过比较六个大型推理模型与 1,854 名人类受试者,我们发现,模型在人们需要更长时间裁决的那类案例上会投入更多的推理精力(以思维链(CoT)的长度衡量)。当两条帖子的冒犯性保持不变时,人们花费的时间延长了 31\%,而模型生成的 CoT 长度延长了 51 至 306\%。在单个决策上相关性相对较低($r = 0.15$--$0.19$),但当按冒犯性语言的类型对任务进行分组时,平均响应时间与平均推理精力密切相关($r = 0.85$--$0.93$)。对 Gemini 2.5 Pro 的 CoT 摘要进行的定性分析印证了这些发现,表明当冒犯性固定时,次要因素被提及的频率更高。结果表明,推理轨迹有望用于优先处理困难案例并增强可解释性。
| 主题: | 人工智能(cs.AI);计算机与社会(cs.CY) |
| 引用为: | arXiv:2508.20262 [cs.AI] |
| (或本版本的 arXiv:2508.20262v3 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2508.20262 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Thomas Davidson [查看邮箱]
[v1]
2025年8月27日星期三 20:36:16 UTC(574 KB)
[v2]
2025年12月20日星期六 18:56:18 UTC(1,801 KB)
[v3]
2026年11月17日星期二 00:25:38 UTC(5,970 KB)
来源:arXiv cs.AI · arxiv.org