LEMUR：用偏好反馈的多目标强化学习实现对齐
LEMUR 是一个从多个人类偏好反馈中交互式学习最优多目标策略的框架，可同时学习策略与多个目标专属奖励模型，让智能体在学习过程中平衡相互竞争的目标。该方法在多种多目标基准任务上性能优于基线，为无需预定义奖励函数的多目标决策任务提供了新方向。
#推理
arXiv cs.AIAI 评分2424 arXiv cs.AIAI 评分4242 指令微调语言模型无法从其能描述的分布中采样
研究发现指令微调模型并不从分布中采样，而是坍缩为单一输出：同一 persona 在同一问题上，公开民调基准中超过半数条目返回相同答案，内部概率也集中于单一选项。
arXiv cs.AIAI 评分2222 Agent-UCT：用树上的置信上界优化成本感知的智能体工作流
AgentUCT 将剩余评估成本的经济模型引入 UCT 选择，并用查询前缀记账连接搜索决策与可复用执行状态，在有限固定奖励树上证明了累积质量遗憾的 O(log T) 上界。
arXiv cs.AIAI 评分6060 PRO-LONG：用程序化记忆实现长程推理
论文提出 PRO-LONG，一个面向 LLM 智能体长程探索场景的最小上下文管理框架，通过保留完整结构化交互日志并用程序化工具高效检索历史来化解信息保留与检索难度之间的取舍。
arXiv cs.AIAI 评分3131 LLM 规划能力研究：ACPBbench-Hard 上揭示两种不同的规划能力
研究在 ACPBench-Hard 上评估多个 LLM 系列，结合多维项目反应理论发现 LLM 规划表现由两种潜在能力主导：操作推理（评估局部动作适用性与即时状态转移）和结构枚举（推理目标可达性与地标结构）。操作推理随模型规模扩大和推理链变长而提升，结构枚举则相对不敏感。作者据此提出应转向能力层面的 LLM 规划评估。
arXiv cs.AIAI 评分3535 LLM 如何发展出语言：面向高效多智能体推理的符号化通信
研究者提出 Communicative Language Symbolism Routing（CLSR），让多个 LLM 智能体自主发明、演化并共享紧凑的 Language Symbolism Frameworks（LSFs），由无隐变量路由器按查询自适应选择与组合这些符号语言，以优化准确率与 token 成本的权衡。
arXiv cs.AIAI 评分2323 PASS：面向 LLM 推理模型过程监督强化学习的优势信号塑造
PASS（Process Advantage Signal Shaping）是一种面向 GRPO 的优势构建流程，通过奖励通道归一化与融合、信号定义分块累积以及按剩余分块数归一化，把过程监督的局部反馈转化为策略优势。
arXiv cs.AIAI 评分2222 图世界模型中的 rollout 误差如何传播与抑制
研究系统分析了 Graph World Models（GWM）中 rollout 误差的传播机制，针对固定边与动态边两种情形推导出拓扑感知的误差界，刻画了图结构、学习动力学与演化边的作用。
arXiv cs.AIAI 评分2929 SGPO：用策略引导策略优化替代轨迹模仿，提升 LLM 推理能力
研究者提出 Strategy-Guided Policy Optimization（SGPO），用可复用的策略蒸馏替代实例级轨迹模仿，从强模型回答中提取结构化策略描述，并为每个问题构建自主与策略引导两条轨迹进行直接对比。
arXiv cs.AIAI 评分3636 Plans Fade Fast：为何上下文管理是 LLM 智能体的承重结构
研究提出 replay pairing 方法，固定动作-观察轨迹，对比有无计划交换时的动作前隐藏状态，发现 Llama-3.1-70B 在 ALFWorld 上计划后第一个动作到第二个动作的平均对比度下降 4.1 倍，Llama-3.1-8B 下降 5.6 倍。
arXiv cs.AIAI 评分3232 LLM 智能体为何过早定型：诊断过早承诺问题
研究提出"表征承诺"指标，通过重复运行中同一步骤的隐藏状态相似度衡量 LLM 智能体行为何时稳定。在 Llama-3.1-70B 运行 ReAct 于 HotpotQA 上，第 4 步相似度越高，整条轨迹变异性越低（r = -0.35），该模式在另外两个模型和 StrategyQA 上复现。
arXiv cs.AIAI 评分2222 Reward as an Agent：用智能体奖励框架与 DynDiff-GRPO 扩展具身世界模型强化学习
研究提出 Reward as an Agent 智能体奖励框架，主动评估生成行为以提供稳健奖励信号，缓解分布偏移下的 reward hacking。配合 DynDiff-GRPO 的 Dynamic-Aware Rollout Diversification 扩展动作空间探索，两者结合在多个开源世界模型上取得显著准确率提升，表明更广探索在可靠验证基础上可成功扩展。
arXiv cs.AIAI 评分3333 LLM 代码推理的内部生命周期：从"酝酿"到四种解析结果
研究提出双诊断框架，结合逐层线性探针与 Context-Stripped Decoding（CSD），在 Qwen、Llama、DeepSeek 等 16 个模型、六类代码推理任务上追踪代码推理的内部生命周期：模型先"酝酿"答案，使其在可自解码前多个层即可线性恢复，随后分化为 Resolved、Overprocessed、Misresolved、Unresolved 四种结果。
arXiv cs.AIAI 评分3232 面向商业环境的 Business World Model（BWM）概念与架构
论文提出 Business World Model（BWM），一种面向商业与组织环境的世界模型，将状态、动态和可行动作与业务实体及其属性和关系绑定。其参考设计与开源实现中，LLM 智能体负责解读自然语言业务目标并解释结果，确定性、元数据驱动的仿真引擎整合机器学习模型、业务规则和动作空间完成全部计算。媒体订阅业务的流失案例研究显示，系统能在收入约束下推荐满足流失率降低目标的方案。
arXiv cs.AIAI 评分2626 Trajectory-Refined Distillation：一种缓解前缀失败的轨迹级蒸馏方法
针对 on-policy 蒸馏（OPD）中因逐 token 监督导致的"前缀失败"问题，研究者提出轨迹级修正方法 Trajectory-Refined Distillation（TRD），在教师引导下修正学生 rollout 的问题前缀，从源头缓解该问题。
arXiv cs.AIAI 评分2222 Causal-Plan-Bench：面向物理具身推理的因果规划基准与 Causal Planner 模型
研究团队推出 Causal-Plan-Bench 诊断基准与 Causal-Plan-1M 百万级因果推理语料，指出现有具身视觉语言规划基准偏向语言下一 token 预测而非物理因果推理，GPT-6-astra 仅得 43.04 分。
arXiv cs.AIAI 评分2424 CROP：面向推理轨迹前缀的共形认证方法
针对语言模型推理轨迹中错误前仍含有效步骤的问题，研究者提出 CROP（Conformal Reasoning Output Prefixes），一种与验证器无关的校准方法，可返回步骤风险低于校准阈值的最长连续前缀，并将未认证后缀交由下游审查或修复。
arXiv cs.AIAI 评分1818 基于论证的老年人个性化故事生成：一种反思式混合 AI 架构
一项研究提出反思式故事生成智能体，整合知识图谱、用户建模与论证理论，为老年人定制叙事。Phase II 中 55 位老年人对 330 次评估里仅 30.6% 识别出预期目的；Phase III 显示完整系统人物设定落地率为 67.6%，高于无论证方案引导的 57.9%，但差异不显著。零样本论证挖掘与人工共识标注仅中等一致，定位为审查辅助而非验证器。
arXiv cs.AIAI 评分2929 VPR：面向智能体推理的可验证过程奖励框架
研究者提出可验证过程奖励（VPR）训练框架，将任务求解器改造为动作级过程验证器，为中间动作提供密集奖励，实现细粒度信用分配。VPR 在 Sokoban、Sudoku、Minesweeper 三种环境中实例化，训练的 Qwen3-4B 全面超越 outcome-reward GRPO 和 VinePPO；在数学数据与三个游戏环境联合训练时取得最高平均通用推理性能。
arXiv cs.AIAI 评分2323 面向语言模型可解释性的数据驱动电路发现（DCD）
研究提出数据驱动电路发现（DCD），在电路发现流程前加入分组步骤，用逐样本归因模式聚类（DCD-Cluster）将数据集划分为依赖相似机制的多个子集。作者先证明当数据集混合不同机制处理的任务时，现有电路发现会把多种机制合并为单一电路且保持与单独任务相当的忠实度，并在四个任务、三个模型上给出任务内机制多样性的证据。
arXiv cs.AIAI 评分2424 MemQ：将 Q-Learning 融入基于溯源 DAG 的自演化记忆智能体
MemQ 将 TD(λ) 资格迹应用于记忆 Q 值，通过记录记忆创建时检索来源的溯源 DAG 反向传播信用，信用权重按 (γλ)^d 随 DAG 深度 d 衰减。
arXiv cs.AIAI 评分2424 FlowAgent：将工具链重构为连续流以演化智能体推理
针对现有工具调用逐步式范式缺乏全局视角、长程误差累积且难以泛化到未见工具的问题，研究者提出 FlowAgent，将工具链重构为语义空间内的连续轨迹生成，并利用条件流匹配生成连续隐轨迹以提供全局规划视角。
arXiv cs.AIAI 评分4141 VibeServe：AI 智能体能否构建定制化 LLM 服务系统？
VibeServe 是首个端到端生成完整 LLM 服务栈的智能体循环，通过外层循环规划系统设计搜索、内层循环实现候选方案并验证正确性与性能。在标准场景下，它在 Llama-3.1-8B 上追平 vLLM 和 SGLang，并在四块 AMD MI300A 上为 397B MoE 模型实现调优 SGLang 2.3 倍的 goodput。
arXiv cs.AIAI 评分2222 通过分布对齐提示合成与反向提示退火缓解数学 RLVR 中的分布锐化
针对 RLVR 中难题采样组全错导致无有效更新、进而引发分布锐化的问题，研究者提出分布对齐提示合成（DAHS）与反向提示退火（BHA）两个组件。
arXiv cs.AIAI 评分3131 别问了：语言模型中的数字自我报告究竟测量了什么
研究在 8 个指令微调模型上为 wellbeing、interest、focus、impulsivity 四个情感概念训练探针，追踪多轮对话中的状态，并与每轮的数字自我报告对比。结果显示评分问题本身会改变被探测状态，评分与提问前探针分数仅弱相关，与提问后探针关联更强；评分与其它概念探针的关联不亚于其自身概念，且这种耦合与概念特异性均未随 1B-27B 规模提升。
arXiv cs.AIAI 评分2222 从反事实数据中进行因果识别：完备性与边界结果
针对反事实可实现性带来的 Layer 3 数据，研究者提出 CTFIDU+ 算法，可从任意 Layer 3 分布集合中识别反事实查询，并证明其完备性。该工作进一步刻画了物理可实现分布下反事实可识别性的理论极限，即非参数设定下精确因果推断的根本边界。对于无法识别的关键反事实量，作者推导出新的解析边界，并通过模拟验证反事实数据能收紧这些边界。
arXiv cs.AIAI 评分2828 数学推理中的策略可执行性：利用人机差异实现有效引导
研究揭示数学推理中策略"使用"与"可执行性"存在系统性脱节：人类与模型生成的策略在结构化、领域相关方式上存在差异，导致引导效果不稳定。
arXiv cs.AIAI 评分3636 The Token Games：用解谜对决评估语言模型推理能力
研究者提出 The Token Games（TTG）评估框架，让模型互相出题进行编程解谜对决，再根据两两对决结果计算 Elo 评分。在 10 个前沿模型上，TTG 排名与 Humanity's Last Exam 等现有基准高度吻合，成本不到 200 美元且无需人工出题。研究同时发现，当前模型生成优质谜题仍相当困难。
arXiv cs.AIAI 评分3434 Stochastic CHAOS：为何确定性推理扼杀 AI 认知，分布可变性才是心跳
针对 Thinking Machines Lab 提出的确定性推理可提升可复现性的观点，该论文主张对 LLM 而言确定性推理会扼杀认知能力：它掩盖不确定性、抑制涌现能力、将推理坍缩为单一脆弱路径，并隐藏安全对齐的尾部风险。
arXiv cs.AIAI 评分2020 GDEPO：面向样本高效强化学习的组双动态与等权优势策略优化
针对 GRPO 在自动定理证明中相对优势估计与二元验证反馈冲突、静态采样丢弃无效批次造成数据浪费的问题，研究者提出 GDEPO，通过动态补充采样、等权优势（解耦优势函数的符号与幅度）和动态额外迭代三项机制提升数据利用率。在 MinF2F-test、MathOlympiadBench 和 PutnamBench 上的实验验证了其有效性，消融研究确认各组件协同作用。
arXiv cs.AIAI 评分2929 ROI-Reasoning：通过预计算元认知实现推理的理性优化
ROI-Reasoning 是一个两阶段框架，让 LLM 在严格全局 token 预算下学会预判问题难度并策略性分配算力。它先通过元认知微调让模型预测推理成本并判断问题是否值得尝试，再用理性感知强化学习优化长程分配策略。在数学推理、选择题问答和代码生成任务中，该方法在紧张预算下提升得分并降低参考序后悔，数学任务上相对同骨干最强基线最高提升 417%。
arXiv cs.AIAI 评分2727 多智能体卧底游戏：用反事实测试消除多模态推理中的幻觉
研究者提出多智能体卧底游戏（MUG）协议，借鉴"谁是卧底"社交推理游戏，通过修改参考图像引入反事实证据，检测出存在幻觉的"卧底"智能体，为识别幻觉智能体提供真值依据。MUG 从三个维度改进多智能体辩论（MAD）：以反事实测试实现超越统计共识的事实核验、通过动态修改证据源引入跨证据推理、推动智能体主动探究讨论而非被动作答。该工作已被 AAAI 2026 接收，源代码已公开。
arXiv cs.AIAI 评分3131 e1：学习推理努力的自适应控制
研究者提出 Adaptive Effort Control，一种自适应强化学习方法，训练模型按用户指定的 token 比例（相对于当前平均思维链长度）分配推理量，无需针对数据集和阶段调参。
arXiv cs.AIAI 评分2929 让智能体学会推理自身计算开销：同等训练预算下 75% 游戏表现更优、算力省三倍
研究让强化学习智能体感知自身计算成本并自主控制何时使用算力，在 Arcade Learning Environment 上，同等训练算力预算下这类智能体在 75% 的游戏中表现更好，平均算力消耗降至三分之一。论文分析了各游戏中的效率来源，已被 Reinforcement Learning Conference（RLC）2026 接收。
arXiv cs.AIAI 评分3030 用 LLM 做程序合成：BesiegeField 基准测试组合式机械设计
研究者提出"组合式机械设计"，将机器写成组合标准化部件的程序，并以模拟物理行为判定成败，同时发布基于游戏 Besiege 的测试平台 BesiegeField。在单智能体生成、迭代编辑和分层工作流下，强模型能恢复任务相关结构，但在空间精确装配与机制级规划上仍吃力。团队用模拟奖励对开源模型 Qwen2.5-14B 做强化学习微调，固定生成预算下最佳机器得到改善。
arXiv cs.AIAI 评分2727 LIFT：基于似然的干预忠实度训练，提升 LLM 链式推理忠实性
研究者提出 LIFT，通过将推理步骤替换为领域匹配但无关的事实、测量答案对数概率下降来自动为每步推理打因果影响分，并在高分的 CoT 轨迹上微调，同时优化忠实度与准确率。该方法在 Mistral-7B-Instruct、Qwen3-8B 和 Qwen3-4B-Instruct 三个模型及三个基准上提升了忠实度，准确率与仅针对准确率微调的模型相当，且无需人工标注。
arXiv cs.AIAI 评分2424 Physics：面向大学水平物理问题求解的基础模型基准测试
研究者推出 Physics 基准，包含来自六个核心物理领域 PhD 资格考试难度的 1034 道开放式题目，每题配有解答与独立核验的参考答案，并采用基于 LLM 的评分协议评估数值、符号和文本作答。
arXiv cs.AIAI 评分2222 如何突破无偏博弈的学习瓶颈：一种电路复杂度方法
针对神经网络在无偏博弈中难以学会最优策略的问题，研究者以 NIM 游戏为例，证明浅层固定规模量化网络属于 AC⁰ 电路类，无法计算任意大输入的奇偶性，因而无法在所有棋盘规模上实现最优单步走子。
arXiv cs.AIAI 评分2222 用神经符号方法识别自然语言论证中的蕴含与矛盾关系
研究提出一种神经符号方法，用预训练 AMR 解析器将文本转为抽象语义表示图，再翻译为命题逻辑并交由 SAT 求解器自动推理，以识别自然语言论证中的蕴含与矛盾关系。为应对措辞差异导致的逻辑表示不匹配，该方法引入松弛机制，允许替换或遗忘部分命题。实验显示该方法在三个 RTE 数据集上表现良好，且能给出前提、主张及松弛操作的逻辑表示。
arXiv cs.AIAI 评分2121 有限域情景演算理论中时间推理的可判定性研究
研究发现，在情景演算中用实值函数 time(a) 为每个动作附加时间点的常见做法，即使域中仅含有限对象，判断是否存在满足给定公式的可达情景也是不可判定的。作者借鉴时间自动机理论，引入带受限后继状态公理和比较运算符的时钟（实值流变量），证明有限域基本动作理论的可达性问题可判定，并给出确定 Golog 程序成功执行动作序列的可判定过程。