arXiv cs.AI· Jason Liang, Dylan Waldner, Risto Miikkulainen·· 23 小时前AI 评分38
价值观如何塑造自我改进编码智能体的产出
Values Shape What Self-Improving Coding Agents Build
AI 导读
一项 arXiv 研究在自我改进编码智能体的持久指令文件中加入简短价值观陈述,发现价值观既影响性能也改变产出。基于 Schwartz 基本人类价值观理论测试的四类高阶价值观中,开放变革类价值观提升了留出数据上的表现,而保守类价值观的得分低于不设价值观的智能体。价值观还使智能体生成的解法算法在规模、复杂度和方法上产生差异,且让智能体自行修改价值观会缩小不同价值观组合间的差异。
正文 · AI 翻译
摘要:自我改进型智能体通常针对其产出的结果进行优化,而较少关注它们如何产出这些结果。它们的指令为设计者提供的塑造其工作方式的手段有限,尤其是在任务开放的情况下。本文研究智能体持久指令文件中的一段简短价值陈述是否不仅会改变智能体的表现,还会改变它构建出的东西。研究评估了 Schwartz 基本人类价值理论中的四种高阶价值类型:对变化的开放、保守、自我增强和自我超越。在多样化的编程任务中,各次运行内价值在多次自我改进迭代中保持固定。得出了三项发现:(1) 价值对多样化任务集上的表现有影响。开放类价值提高了在留出数据上的表现,而相反的保守类价值则导致得分低于未给定任何价值的智能体。(2) 价值会改变智能体构建出的东西,产生在规模、复杂度和方法上各不相同的求解算法。(3) 设计价值仍需要人类监督。允许智能体修改自身的价值会缩小不同价值集之间的差异,而从 AI 文献中提炼的价值相比不给定任何价值没有可检测到的增益。因此,设计得当的价值可以影响自我改进型编程智能体构建出的东西,并在任务允许的情况下影响其表现。
| 主题: | 人工智能(cs.AI);多智能体系统(cs.MA) |
| 引用为: | arXiv:2611.23067 [cs.AI] |
| (或本版本的 arXiv:2611.23067v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2611.23067 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Jason Liang [查看邮箱]
[v1]
2026年11月17日星期二 16:56:46 UTC(1,061 KB)
来源:arXiv cs.AI · arxiv.org