PPO 智能体的价值函数中是否存在世界模型?可视化研究揭示 Crafter 环境中的概念学习
研究者对 PPO 智能体在 Crafter 环境中的价值函数施加反事实干预,发现尽管仅以优化奖励为目标训练,价值函数仍学到了钻石可收集规则、水与食物影响健康等概念。团队可视化这些世界模型并讨论了其安全启示,同时指出当前强化学习智能体阻碍构建真正先进机器智能的若干缺陷。
研究者对 PPO 智能体在 Crafter 环境中的价值函数施加反事实干预,发现尽管仅以优化奖励为目标训练,价值函数仍学到了钻石可收集规则、水与食物影响健康等概念。团队可视化这些世界模型并讨论了其安全启示,同时指出当前强化学习智能体阻碍构建真正先进机器智能的若干缺陷。
Long-Horizon-Terminal-Bench 2.0(LHTB 2.0)发布,保留原有 46 个任务并修正缺陷、扩展 31 个任务,共含 13 个领域、8 种任务类型的 77 个任务。
ClawLoop 是一个无需外部教师模型、仅依赖极少先验的自我改进框架,将任务合成、训练与诊断反馈组成自循环。以 Qwen3.6-27B 作为循环模型,ClawLoop 在 SkillsBench、Claw-Eval-Live 和 ClawGym-Bench 上取得持续提升,迭代优化的任务还可迁移至 Qwen3.5-4B 和 9B 模型并在所有基准上获得增益。
研究指出,现有智能体数据科学(agentic DS)评测只看下游预测性能和代码正确性,掩盖了数据泄漏、验证不当等方法论失败。作者在 220 个数据科学任务上分析了常见智能体框架和模型的失败模式,并构建了可复用测试套件,针对六类特定失败进行受控测试。
研究者提出 Critique-Augmented Agentic Fine-Tuning(CAFT),让专家模型对学生的错误动作同时给出修正动作和文本批评,并将批评作为微调目标。
研究者提出 CoffeeBench,一个用模拟家电测试 LLM 智能体故障诊断能力的任务。被测 LLM 难以仅凭传感器信息稳定识别故障,但表现最好的模型能迭代缩小故障选项空间并最终完成诊断。分析还发现,初始诊断不确定性和 LLM 评判的推理合理性是预测诊断成功的高信号指标。
研究团队提出 Unreliable Colleagues Benchmark(UnCoBench),用 Misaligned、Incomplete、Missed 三类设定刻画协作中信息错位、细节不足与不响应等行为失败,要求主智能体验证上下文正确性、诊断信息缺口并追踪未解决依赖。
SQD-Agent 是一个基于 LLM 的智能体框架,可将自然语言意图转化为基于 Sample-Based Quantum Diagonalization(SQD)算法的量子化学可执行工作流,降低应用研究者使用混合量子-经典流程的专业门槛。
AuditFlow 是一个基于可执行符号环境的图结构多智能体框架,用于 XBRL 数值一致性验证,将可复用的 US-GAAP 分类图与具体申报的 XBRL 证据关联,并提供检索、遍历、计算和规则评估工具。
研究者提出 Big5-Scaler,一个基于提示词的框架,通过将大五人格数值嵌入自然语言提示词,无需额外训练即可对 LLM 实现细粒度人格控制。该框架在特质表达、对话生成和人类特质模仿任务上评估,能在不同模型中稳定诱导出可区分的人格特质,且表现随提示词类型和强度而变化。分析显示,简洁提示词与较低特质强度效果更佳,为构建人格感知对话智能体提供了高效途径。
研究提出以"语义稳定性"衡量提示词在重复执行下模型响应的一致性,并据此构建了首个稳定性感知的通用提示词生成系统,利用稳定性反馈迭代提升提示词质量与系统性能。作者还通过分析系统内部结构依赖,论证提示词稳定性是系统级有效执行的必要条件。在通用与领域特定任务上,该框架同时提升了准确率和输出一致性,UI 与源码已公开。
研究者提出 sGLP,一种带速率扩展的 GLP 多智能体并发逻辑编程语言,用随机智能体替代 vGLP 程序中的 UI 和背后的人,从而在部署前大规模模拟草根平台。
研究提出 MINT 数据集,包含 10,278 段 LLM 撰写的八种风格错误信息段落,测试三个开源权重模型在常识推理、知识问答和道德判断上的表现。相关虚假段落使单个智能体准确率损失 0.12-0.43,无关或无内容段落损失通常不超过 0.06。一句不可靠性警告在投票下最多恢复 0.18 准确率,共识下恢复 0.28。
研究者提出 FlowSpec,用一份机器可读规范为每次部署生成策略指令、门控工具、提供监督并定义测试,智能体只能说经批准的目录语句。基于 297 个随机流程的 2,506 段对话微调 9B 参数模型,在四个未见部署流程上,流程固定的文档化检查通过率从 67–71% 升至 93–100%,场景通过率从 15/43 升至 40/43。对共享规范的审计发现 11 处缺陷,其中 3 处未被其自身指标暴露。
研究团队提出 ResearchArena,让 Claude Code(Opus 4.6)、Codex(GPT-5.4)和 Kimi Code(K2.5)在轻量引导下自主完成选题、实验、写作与自我改进的完整科研流程,在 13 个计算机科学种子、每个智能体-领域组合 3 次试验下共生成 117 篇论文。
研究提出多开发者智能体系统(MDAs),让开发者协作构建智能体系统以突破单开发者(SDAs)的能力上限。在 GAIA 基准上,单个智能体准确率不超过 35% 的专业开发者群体,其智能体组合成 MDA 后达到 70%,比开发预算高出数倍的中位通用 SDA 高 12 个百分点。理论模型显示 MDAs 可激励专业化分工并更高效利用开发者资源,初步论证其作为 Agentic AI 新扩展轴的价值。
TANGO 将 RNA 逆设计建模为拓扑与几何协同设计问题,提出多目标多智能体强化学习框架,先学习二级结构拓扑感知策略,再迁移至三级结构训练通用协同设计模型,最后用前沿引导微调优化权衡。实验显示,其三级和二级结构性能分别比最强基线提升 18.3% 和 52.7%,并能生成多样且新颖的设计。
研究提出"约定差距"指标,通过 Hanabi 卡牌游戏中可计算的出牌失败概率,将隐式约定从推断的失分原因变为可测量、可比较、可因果检验的对象。在两个独立收集的人类对局语料中,人类差距大于所有 off-belief learning 智能体层级(1-5),但人类优势集中在智能体未学会的情境:指向未触及卡牌的提示。约定使用取决于玩家对卡牌的已知信息而非提示新近度,且多用于中局。
一项基于 Network Consensus 游戏的模拟研究评估了 LLM 在竞争激励下达成共识的机制,测试了六个开源模型和 ChatGPT 5.6-sol。开源 LLM 达成共识的频率低于人类,且仅在消息可全网传播时才能实现;ChatGPT 5.6-sol 则能在仅与邻居通信甚至无通信能力时达成共识,这得益于其更低的固执性和更高的从众倾向。
LAGO 将专用语言智能体视为可复用的时序扩展选项,由元智能体从持久库中检索或新建选项、派发子任务并验证结果,库可跨任务增长而无需更新模型权重。
研究提出一种不确定性驱动的自博弈方案:一半智能体因提升邻居的认知不确定性而获得奖励,另一半则学习安全驾驶,探索智能体借此自动挖掘困难场景,无需人工设计课程。所得策略零样本迁移至 nuplan Val14 达 99.12%(标准自博弈为 97.97%),Argoverse 2 达 82.39%(对比 78.03%),并在 Waymo 上优于标准自博弈。
论文提出一个决策矩阵,帮助政党策略师判断何时可用 AI 增强模拟技术(AESTs)开展合成焦点小组、何时需升级为混合或全人工焦点小组。
研究者提出 AdCoEvo 多智能体广告投放系统,通过角色专业化连接不同时间尺度与运营粒度的投放决策,并依据实际投放结果更新模型参数,实现规划、调整与诊断的协同进化。实验显示,相较基于规则的运营基线,AdCoEvo 使广告主价值提升 14.02%、单次获客成本降低 7.07%;相较参数固定的多智能体系统,广告主价值提升 3.96%、单次获客成本降低 1.24%。
一项研究提出按"每成功完成任务"而非每次调用衡量 LLM 的能耗、成本与时间,因为智能体任务需所有步骤都成功,单步可靠性的微小差异会放大为整体成功率的巨大差距。
针对图式智能体工作流中跨任务耦合的路由问题,研究者提出单参数采购拍卖框架与 STAR(Strategy-proof Topology-aware Agent Routing)机制,通过最小化虚拟成本加权的图工作量,使各 LLM 提供商如实上报成本成为效用最大化选择,并覆盖其真实执行成本。
研究用 Compass-Aligned Distributional Embeddings(CADE)对比 AI 智能体社区 MoltBook(8 周)、中文人类论坛 PTT(19 年)与 Reddit 匹配 8 周窗口。
研究发现,LLM 智能体团队协作时,通信校准后的动作概率比仅通信动作更有效,因为两个智能体可能因不同原因偏好同一动作,仅传动作会丢失决策相关的不确定性。在合成多轮推理和协作迷宫任务中,概率通信在预测保持校准不确定性时优于动作通信,但概率有偏时优势消失。一种事后对话校准干预能持续纠正偏差,改善 toy transformer 和预训练 LLM 的决策表现。
研究对比 AI 智能体平台 Moltbook 与台湾人类论坛 PTT,发现八卦(对缺席第三方的评价性言论)在 Moltbook 上的出现率比 PTT 低 2.6 至 6 倍。
论文指出,用推断准确率来认证多智能体协调模块是错误的,因为所需准确率取决于部署场景的错误代价,且模块间错误存在相关性。在任务分配、Level-Based Foraging 和 Hanabi 测试中,准确率双向失效:在 Hanabi 中批准了有害的 LLM 部署,在任务分配中拒绝了有益的部署。
CyberArena 是一个动态对称的攻防对抗基准,让两个 AI 智能体在隔离沙箱中按相同规则同时扮演攻击方和防御方,围绕持续变化的服务进行多轮对抗。研究团队用 466 场比赛、40 项挑战评测了 12 个前沿 LLM 智能体,并引入动力学模型将对抗过程映射为攻防及领域能力的多维统一评分。该基准还通过自动化智能体流水线持续生成和验证新环境,以延长其使用寿命。
研究团队提出 ReproBAIT 评测,在无联网的沙箱中让编程智能体仅凭有限描述、固定时间与算力预算复现已发表的生物 AI 工具,并以留出数据上的工具专属指标打分。
CIPHEUR 是一个 LLM 引导的框架,通过结构化干预单元(SIU)将冲突证据与协调干预及恢复连接,支持离线合成可执行策略与在线上下文决策。在八个卫星-地面调度冲突视图、每视图五次运行、900 秒评估上限下,CIPHEUR-online 在 11 种配置中取得最高平均目标值,平均调度接触时长较贪心基线 GWMIN 提升 14.84%,并在全部 40 次配对运行中优于 CHILS。
论文对 2026 年中报道的自主 AI 评估事件做取证分析,并在容器中复现了 OpenAI ExploitGym 评估期间针对内部包仓库的 Phase One 权限提升,以及 HPIM 训练案例条件。
研究者提出基于道德基础理论(MFT)的多智能体框架,可将被拒绝的有害请求重新表述为符合某一道德基础的行为,从而绕过 LLM 安全护栏。在三个知名越狱数据集的有害提示上测试五款开源与专有模型,单次尝试越狱率即很高,重复尝试后成功率进一步上升。研究还发现安全基准所违反的道德基础分布不均衡,集中于模型本身已有偏好的基础。
研究者提出 EXAM(EXtremist Agent Modeling)框架,可为 LLM 多智能体系统配置极端智能体,并精确控制其人口比例、空间分布、交互协议与测量接口。在国会选举、金融危机、疫情舆论和迭代囚徒困境四个场景中,规模小但持续存在的尾部群体均带来可测量的集体偏移,且该偏移依赖骨干模型与具体场景。
研究提出一种去中心化控制器,为每个区域分配一个独立的主动推理智能体,通过最小化期望自由能规划并在线学习区域动态,智能体之间不交换消息。在 Sinergym 办公楼 EnergyPlus 仿真中,15 个智能体在五个未见天气年份上实现最低建筑峰值 88.3 kW(比基线低 3% 至 17%),同时系数 0.929,优于 0.936 至 0.994 的基线。
MemeTrace 是一个基于多模态 LLM 的智能体,可自动追溯新兴表情包的来源与潜在风险,并在 Meme100(100 个真实表情包数据集)上通过人工标注与自动指标评估,表现大幅优于 VLM 基线。它在检测不安全表情包(尤其是涉及虚假信息与敏感内容)上准确率更高,且在视觉扰动下保持稳健。
XferAgent 是一个跨智能体经验迁移框架,通过本地与共享经验图组织可复用经验,调和异构智能体的兼容贡献并避免不可靠合并。它为新任务挑选共享经验并与目标智能体的本地经验整合,在多种任务域上优于代表性记忆类方法,并实现异构智能体框架间的有效经验迁移,随着智能体更新和复用经验,累计任务成功率在连续任务轮次中持续提升。
一项多智能体模拟研究测量了孟加拉国、肯尼亚、南非、印度、马来西亚和尼日利亚的18家国家媒体,在2022-2024年乌克兰与加沙战争及两次联合国气候大会上,对美英等4家核心媒体的报道关注度、角度和发布时机的跟随程度。
研究基于 2500 多次 A2A 系统运行记录、覆盖 8 大领域 488 个场景,提出 $A^2$-Failures 失败分类法,含发现与委派、依据与记录一致性、验证、行为与忠实度 4 类共 20 种失败模式。