arXiv cs.AI· Jaime Ruiz-Serra, Tom\'a\v{s} Gaven\v{c}iak, Jobst Heitzig·· 11 小时前AI 评分31
目标揭示：信息论赋能与基于能力的人类权力之间的桥梁
Goal Revelation as a Bridge Between Information-Theoretic Empowerment and Capability-Based Human Power
AI 导读
研究揭示信息论赋能与基于能力的人类权力两种权力度量在马尔可夫博弈中的关系：由个体权力经 Fano 不等式可得下界 B(s)，赋能则从上方约束目标揭示，形成 B(s) ≤ I(G;ξ|s) ≤ I(A_h→ξ|s) ≤ 𝔈_h(s) 的链条。仅最大化赋能或目标揭示的助手都可能失效，正向保证只能来自目标达成端。基于交互日志两项统计量可计算满意度下界，用于监测用户保留的权力。
正文 · AI 翻译
摘要：权力对 AI 安全至关重要。最优智能体倾向于在广泛的目标范围内获取权力（工具性趋同）。随着我们将 AI 智能体嵌入社会技术系统，人类面临逐步被削权的风险。这两个问题都需要对权力进行形式化、定量的度量。在马尔可夫博弈的语境下，有两种这样的度量：信息论赋能，即从智能体动作到未来状态的信道容量；以及基于能力的个体权力，一种由人类在候选目标族中追求每个目标时达成该目标的概率构建的目标达成度量。我们展示了二者的交汇之处。从个体权力出发，Fano 不等式给出一个下界 $B(s)$。该下界是我们所称目标揭示的下界，即人类潜在目标与实现轨迹之间的互信息 $\mathbb{I}(G;\xi \mid s)$。赋能从上方限制揭示，因此 $B(s) \le \mathbb{I}(G;\xi \mid s) \le \mathbb{I}(\mathbf{A}_h \to \xi \mid s) \le \mathfrak{E}_h(s)$。每个量都可以很大，而其下方的量保持为零，这凸显了以下失效模式。一个最大化赋能的助手可能更偏好一个在目标无关自由度上提供广泛影响的接口，而非一个让人类达成其可能持有的每个目标的接口。一个最大化揭示的助手无法区分一个正常工作的接口和一个被重新布线以致每个目标都产生错误结果的接口，因为重新标记目标不会改变互信息，却会将每个达成概率归零。因此，正向保证只来自链条的达成端。一个满足度下界可由交互日志的两个统计量计算得出，提供了一种监测用户在已部署系统中保留的权力的方法，而在随机环境中的模拟表明这三个量相关但远非可互换。
| 评论： | 19 页，3 张表。代码：此 https URL |
| 主题： | 人工智能（cs.AI）；信息论（cs.IT）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.07247 [cs.AI] |
| （或 arXiv:2611.07247v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07247 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jaime Ruiz Serra [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 23:54:35 UTC（34 KB）
来源：arXiv cs.AI · arxiv.org