arXiv cs.AI· Galen J. Wilkerson·· 12 小时前AI 评分34
自组织强化学习：无学习器的群体如何逼近探索-利用最优解
Self-organizing reinforcement learning: a learner-free swarm approaches the explore-exploit optimum
AI 导读
一项 arXiv 研究显示，一个无学习器、无奖励信号的极简觅食群体通过 Lévy 飞行探索、邻近网络阈值级联招募和拥挤分散，动态逼近多智能体资源共享博弈的 ideal-free/Nash 最优分配，约 150 步达到该最优形态（投入觅食者跟随资源丰富度的斜率为 0.94），移除招募与移动的耦合后匹配度从 0.94 跌至 0.08。
正文 · AI 翻译
摘要：探索/利用权衡是强化学习（RL）的核心问题。我们表明，一个极简的觅食群体在没有任何学习器和奖励信号的情况下，也能逼近其最优状态——即多智能体资源共享博弈的理想自由/Nash分配（一种均衡，而非回报最大值）。智能体通过重尾（Lévy）飞行进行探索，通过其邻近网络上的阈值级联招募邻居加入发现，并随着斑块拥挤而分散；这一级联循环平衡了探索与利用，并驱使觅食者趋向理想自由分布。群体达到了该最优状态的形态（投入的觅食者以斜率 0.94 追踪资源丰度），但未达到其精确均衡——它仍可被测量地利用——通过招募与移动的耦合在动态中（约 150 步）达到该状态：移除耦合后匹配即崩溃（0.94 -> 0.08）。RL 位于问题和所达到的分配层面，而非微观规则层面：没有任何步骤评估收益（按构造无奖励，尽管群体信号在信息上与收益相关联），群体在没有学习该分配的情况下达到了它（质量趋于平稳，并在资源移动后重新稳定，无累积增益）。与训练过的基线相比，比较是双向的：在更简单的、无实体的博弈中，学习器更精确；而在相同的具身环境中，无奖励群体在零训练下达到经过验证的 oracle 上限的约 65%，并保持领先，直到训练过的 PPO 和集中式评论家（CTDE）学习器在约 15,000 个训练步中的约 4,000 步后超越它（约 74-75%，16 个种子，均高于群体均值）——其优势在于预算，而非渐近线。在这一单一设定中，我们不将其解读为击败 RL，而是作为一个强大的零样本、无奖励工作点：这证明了一个极简群体的自组织物理特性能够承载一个接近 RL 所追求最优状态的集体，而无需 RL 的任何机制。
| 评论： | 16 页，9 幅图，代码和数据：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；社会与信息网络（cs.SI）；数学物理（math-ph）；适应与自组织系统（nlin.AO）；生物物理（physics.bio-ph） |
| MSC 分类号： | 91A22, 68T05, 92D50 |
| ACM 分类号： | I.2.11; I.2.6 |
| 引用为： | arXiv:2610.25113 [cs.LG] |
| （或 arXiv:2610.25113v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.25113 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Galen Wilkerson [查看电子邮件]
[v1]
2026 年 10 月 18 日星期日 08:45:51 UTC（301 KB）
[v2]
2026 年 10 月 20 日星期二 19:20:05 UTC（310 KB）
来源：arXiv cs.AI · arxiv.org