跳到正文
arXiv cs.CY· Junjie Li, Haoran Liu, Yidan Zhang, Jian Xu, Zhaoyuan Ma·· 10 小时前AI 评分31

人类判断不可消除:自主 AI 系统的结构性锚点

The Ineliminable Anchor: Human Judgment as a Structural Requirement of Autonomous Artificial Intelligence Systems

AI 导读

研究提出“锚点”概念,即参考信息与人类授权标准进入自主 AI 系统的节点,并指出目标漂移可能无法仅凭系统内部记录验证,缺失的参考必须来自外部。作者结合检查点间距的可靠性模型与训练、执行、多智能体协作证据,构建任务分类法以指导锚点放置和哪些检查可自动化。结论是:对服务于人类目的的 AI 系统,人类判断在授权和修订目标与标准上仍是不可消除的结构性要求,即便常规检查与执行已自动化。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:随着人工智能(AI)智能体执行越来越长的任务链,监督必须确认其行为是否仍服务于经授权的目标。在此,我们引入锚点这一概念:即参考信息与人类授权标准进入自主系统的切入点。我们认为,监督设计应首先确定评估目标漂移所需的参考信息,以及系统内部记录能否提供该信息;然后决定由谁检查、检查频率如何;最后明确谁有权修改目标。目标漂移可能无法仅凭系统内部记录加以证实。缺失的参考信息必须来自该记录之外。结合检查点间隔的可靠性模型与来自训练、执行和多智能体协调的证据,我们提出了一套任务分类法,用以指导锚点的设置以及哪些检查应自动化的决策。对于服务于人类目的的 AI 系统,在授权和修改支配自主运行的目的与标准方面,人类判断是不可消除的结构性要求,即使常规检查和执行已经自动化。
评论: 含补充材料共 16 页,3 幅图
主题: 计算机与社会(cs.CY)
引用为: arXiv:2610.41682 [cs.CY]
  (或 arXiv:2610.41682v1 [cs.CY] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.41682

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Junjie Li [查看邮箱]
[v1] 2026年10月30日星期五 12:49:37 UTC(919 KB)

来源:arXiv cs.CY · arxiv.org