认知温度计:机器学习与逻辑复杂度
研究提出用机器学习模型作为"认知温度计"来度量语义复杂度,认为这一方法比逻辑可定义性更少依赖逻辑语言的选择。已有证据显示,逻辑与机器学习在相对复杂度及其对语义类型学的影响上常得出趋同结果;两者分歧时,学习比逻辑复杂度更具解释力。该框架试图统一符号逻辑与连接主义 AI 的复杂度研究路径。
研究提出用机器学习模型作为"认知温度计"来度量语义复杂度,认为这一方法比逻辑可定义性更少依赖逻辑语言的选择。已有证据显示,逻辑与机器学习在相对复杂度及其对语义类型学的影响上常得出趋同结果;两者分歧时,学习比逻辑复杂度更具解释力。该框架试图统一符号逻辑与连接主义 AI 的复杂度研究路径。
MaRK 是一种动态算子条件化框架,可将上下文向量直接映射为冻结 SSM 循环参数 A、B、C、D、Δ 的有界调制,从而让每个扩散时间步重塑模型的输入输出记忆核。
一种无标签的 bias-only TTRL 方法仅优化约 100K 偏置参数、冻结预训练主干,在 MATH-500 上以 Qwen2.5-7B 达到 76.67% 准确率,略超其有标签 bias-steering 复现结果,且参数量比全参数 TTRL 少 76,000 倍。
线性探针在合规(盟友)语境下拟合时,真实比特与任务规定答案标签完全一致,形成"完美混叠",导致探针无法区分二者。在奖励训练的 Gemma-2-9B 策略上,盟友拟合探针末层 AUROC 仅 0.006 ± 0.005,而混合拟合探针在同一留出激活上达 1.000。
X2Streaming-ASR 将流式语音识别拆解为"何时提交"与"提交什么",通过三阶段训练(先建立流式识别能力,再用自动探测轨迹热启动提交策略,最后用字符级、分段分配的分组相对奖励优化准确率与延迟)。在十个中英文测试集上,其平均提交延迟相对强制对齐端点最低,中文为 32–109ms、英文为 12–85ms,识别准确率与现有系统相当。
研究者提出 CPR(Critical-Point Routing),一种在基座模型与其 SFT 专家衍生模型之间做 token 级路由的框架,依据基座模型失败而专家成功的"关键 token"决定是否调用专家。
针对 PPO-Clip 因用欧氏度量衡量策略差异、与策略黎曼流形的内在几何不一致而导致探索崩溃的问题,研究者提出黎曼等距策略优化(RIPO),在黎曼流形上保证等距策略更新,平衡探索与利用并改善偏差-方差权衡。在七个竞赛级基准上,RIPO 显著超越现有 LLM RL 算法,AIME24 上较 GRPO 最高提升 60%。
ACID 是一个决策时规划框架,通过逆动力学模型从预测的状态转移反推动作,并要求其与条件动作一致,从而引入循环动作一致性。该残差以尺度不变的自适应权重融入规划代价,在四个动作条件世界模型和八个任务(涵盖物体操作、关节控制、视觉导航与真机操作)中一致提升规划表现,并以显著更少的规划计算量达到基线精度。
研究在 LunarLander-v3 上训练的 RSSM 世界模型,其基于世界模型检查点 280 的 A2C 策略在 100 个留出回合上平均回报 +189.5,追平最佳无模型 A2C 检查点(+183.7),但真实训练转移少约 65 倍。作者提出奖励可观测分数(ROF),发现其数值随潜变量缩放变化、跨模型不可比,且无法预测 MPC 的闭环崩溃;筛查的 108 个离线指标均未通过置换检验。
研究者提出 Red Queen Gödel Machine(RQGM),一个在非平稳效用下实现递归自我改进的进化框架,让学习到的评估器与智能体共同进化。在 DeepSWE 上,RQGM 低推理投入下通过 82.1% 的留出任务,优于固定评估器基线的 75.0%,并接近高投入的 GPT-6 Astra。
针对 GRPO 对所有 token 均匀分配信用、浪费梯度的问题,研究者提出 SC-GRPO(Self-Conditioned GRPO),用模型在自身已验证轨迹条件下的逐 token KL 散度作为 GRPO 梯度的乘性权重,无需过程奖励模型或外部教师。
研究者提出 S4oP,一种针对 S4 和 S4D 等结构化状态空间模型(SSM)的增量式算子级剪枝方法,通过结构化掩码与微调交替进行,并同步监控精度与推理延迟。实验显示,在多个基准数据集上剪除多达 70% 的模型算子,多数情况下仍能保持原模型性能,同时大幅降低推理延迟。作者称这是首个系统研究 SSM 结构化算子剪枝的工作。
PearlVLA 是一个在潜在空间中渐进精炼 VLM 规划方案的 VLA 框架,利用冻结的潜在世界模型(LaWM)预测中间规划的潜在视觉子目标,经 K 轮迭代后一次性输出动作块。该工作还提出 Causal Refinement-Grouped Process-Reward RL 优化潜在精炼过程,在 LIBERO 和 RoboCasa 基准上表现与现有强方法相当。
研究者提出 LoRi 低秩蒸馏框架,通过一阶和二阶统计量在共享低秩张量子空间中对齐教师与学生的推理轨迹,将推理内化到隐式思维链(iCoT)中。在 LLaMA 和 Qwen 等多个模型家族的数学推理基准上,该方法持续提升性能,在多步难题上接近显式 CoT 准确率,并优于此前的 iCoT 蒸馏方法。
该研究提出一种 oracle 相对模型,用可变求解器、评估器和改进器刻画自我改进智能体,将自主改进、能力提升与计算范围扩大区分开来。在布尔规则获取的可构造模型中,学习到的求解器可在所有输入上摆脱教师,但仍处于同一可计算层;而从任意有效特征程序统一构造所需特征张成规范,已与相对停机问题同等困难。
针对 QAM 中 critic 误差被指数放大导致性能崩溃的问题,研究者提出 TRQAM,通过在流策略采样过程中引入信任域参数 λ 并证明其精确加权 SOC 目标中的路径空间 KL,实现对预训练策略偏离的严格控制。
ROAR 是一个面向零样本时间序列预测的检索机会感知精炼框架,其训练目标根据基础预测难度和检索候选带来的相对提升,对查询分配差异化权重。ROAR 先学习聚合对齐的历史候选,再用学习到的门控控制其对固定基础预测器的修正强度,随后联合校准预测模块与门控。在七个基准上,ROAR 取得对比方法中最低的平均 MSE,并在多种骨干模型和检索增强预测器上实现平均预测提升。
研究通过效用受限教师与自适应学生间的极小极大博弈分析蒸馏攻击,提出自适应评估规则和教师端防御模板,并由此推导出仅需前向传播的 Product-of-Experts(PoE)防御。
研究者提出 Spatial Alignment via Geometric Evolution(SAGE),一个通过几何与语言对偶操作提升视觉语言模型鲁棒空间推理的自演化框架。SAGE 将对偶一致性引入 GRPO 训练,并协同演化对偶生成与求解,配合动态操作池聚焦高信息量信号。该框架与模型无关、数据高效,可作为轻量适配阶段应用于任意现有 VLM,在视频与空间推理基准上持续优于强基线。
SparKV 是一个结合云端 KV 流式传输与端侧计算的自适应 KV 加载框架,通过建模各 KV 分块成本来决定流式传输还是本地计算,并重叠两条执行路径以降低延迟。它还能在运行时细化离线生成的调度方案,以应对无线连接和边缘资源波动。实验显示,SparKV 将首 token 时间(TTFT)降低 1.3x-5.1x,单请求能耗降低 1.5x-3.3x,对响应质量影响可忽略。
论文提出 Composer 编译器,在将 Clef 直接编译到 CPU、GPU、NPU 和 FPGA 原生代码时保留证明,无需经 C 或厂商 API 转换。其四层验证体系前 3 层无需开发者标注,第 4 层支持计算与概率关系证明,并以分布式归约示例验证并发与边界映射下结果一致。
PhysMoDPO 是一个基于 Direct Preference Optimization 的框架,将全身控制器(WBC)纳入扩散模型训练流程,使 WBC 输出同时符合物理规律与原始文本指令,替代了脚部滑动惩罚等手工物理启发式。
研究以确定性实体替换分别对指令和推理链进行修复与破坏双向测量,发现破坏推理链的代价集中在语言单独决定目标的 LIBERO-Goal 任务上。用 DeepThinkVLA 做反事实干预,让策略接收被破坏的指令但替换为干净指令下生成的推理链,挽回了 47.8 pp 的损失成功率,全部 10 个任务均朝预测方向移动,但仍比干净运行低 38.0 pp。
研究发现,对抗性提示注入攻击可将大语言模型的攻击成功率从无注入时的多项式增长放大为随推理采样数呈指数增长。研究提出基于自旋玻璃系统的理论生成模型,在复制对称破缺机制下解释了短提示对应幂律、长提示对应指数增长的两种缩放规律。该趋势在 3B 至 70B 参数规模的大语言模型及 GCG、AutoDAN 等攻击方法和 AdvBench、HarmBench 等基准上表现一致。
研究者提出 Stitching Noisy Diffusion Thoughts 框架,用掩码扩散语言模型采样多条低成本推理轨迹,经过程奖励模型(PRM)逐步打分后跨轨迹拼接高质量步骤,再重算最终答案。
研究发现算法层面的延迟攻击对现代 LLM 服务系统基本无效,连续批处理等系统级优化提供了逻辑隔离。作者转而提出 Fill and Squeeze 攻击策略,针对调度器状态转换:先耗尽全局 KV cache 引发队头阻塞,再迫使系统反复抢占。在 vLLM 上评估显示,TTFT 最高退化 75-742 倍,每输出 token 时间平均减慢 1.5-4 倍,攻击成本降低 30-40%。
研究发现,即使模型、输入实例和预测结果固定不变,SHAP 解释在重复运行间也会出现显著分歧,作者将这一现象称为"解释多重性"。团队提出双种子协议区分模型引发与解释器引发的变异,并结合幅度、排名和集合三类指标及 Dirichlet、Mallows 零模型进行评估。结果显示该现象普遍存在,小数据集上模型引发的分歧更大,大数据集上解释器引发的分歧更大,CTE 等改进采样方法也无法消除排名层面的多重性。
研究者提出 GAP(Generalisation-and-Perturbation)方法,通过表面重命名与内核重写两类可解释变换,自动生成数学等价变体,并在 1938 至 2024 年全部 1,051 道 Putnam 竞赛题上构建出 6,306 题的 PutnamGAP 语料库。对 18 个商业与开源模型的评测显示,所有模型准确率均下降,内核重写下最为严重,且该差距不随模型能力增强而缩小。
研究者提出 Concept REAsoning Models(CREAM)框架,可在概念瓶颈模型(CBM)推理中显式编码概念-概念(C-C)与概念-任务(C→Y)关系,支持互斥、层级关联等任意类型关系及稀疏 C→Y 关系。CREAM 可选配正则化侧信道以补全不完整概念集,并引入 C→Y 无关的可解释性度量。实验显示其无需额外计算开销即可支持高效干预、避免概念泄漏,在概念缺失时达到黑盒级性能。
一项基于信号检测任务的规范模型研究揭示了资源高效智能体的最优注意力分配策略:当注意力成本较高时,最优注意力随信号证据积累逐步攀升;当注意力成本较低时,最优注意力呈节律性波动,且波动频率随奖励幅度、信号短暂性和信号频率等任务参数增加而提高。研究认为,节律性注意力自然涌现于信念更新由稳定时间先验主导、而非新感觉观测似然主导的智能体。
Moonshot AI 为 Kimi 打造的 Mooncake 服务架构,将预填充与解码集群分离,并利用 GPU 集群闲置的 CPU、DRAM 和 SSD 构建分离式 KVCache 缓存,核心是以 KVCache 为中心的调度器,在满足延迟 SLO 的同时最大化有效吞吐。
研究者提出 Policy Learning with a Language Bottleneck(PLLB)框架,让 AI 智能体生成捕捉高奖励行为高层策略的语言规则,并在规则生成与策略更新两步间交替迭代。
研究者推出 Humanity's Sixth Sense(HSS)基准,用于评测多模态大模型(MLLMs)的直觉视觉推理能力,涵盖图像与视频输入,按时间、空间、社交和抽象结构分类。人类参与者准确率达 93.1%,而最强模型 GPT-6-astra 即使开启最大推理努力也仅达 53.6%。引入动态视觉操作的智能体设置可缩小差距但未能弥合。
BudgetAPO 是一种面向紧预算场景的单阶段提示词优化器,通过短探测测量任务噪声来自适应调整评估切片大小,并用固定切片将每次接受/拒绝决策转为配对比较。在七个基准和五个被测模型上,BudgetAPO 在每个模型上均排名第一,并在 Holm 校正配对检验中击败所有基线;在 250 次调用预算下仅 13% 的运行返回原始种子提示词,而 GEPA 为 86%。
研究者提出 MECo,一个由 LLM 驱动的多任务进化框架,用于零样本跨问题泛化。MECo 维护按任务区分的启发式种群,用基于跨任务种群表现的迁移差距引导种群交互,实现启发式的迁移与重组,并通过奖励各成员对源任务组合的额外覆盖来构建紧凑启发式集合,直接应用于目标问题而无需额外搜索或适配。
针对目标在未被观察时可能移动、导致记忆位置失效的问题,研究者提出 EvolvingNav,通过时间索引的 3D 物体历史构建持久-迁移结构化信念,并用事件驱动滤波器在时间推移中传播信念、预测检查时刻的目标占据情况并融合新的 RGB-D 证据。
针对大推理模型(LRMs)过度思考导致 token 消耗过高的问题,研究者提出一种无需训练的框架:利用二次规划将偏离的隐藏状态投影回潜空间中高效推理步骤聚集的集中区域,从而在不牺牲性能的前提下减少 token 生成。
研究在 Jev 和两个开放权重模型上仅改变选项名称与定义的映射,发现 yes/no 名称相比 0/1 对照组使决策翻转率最高高出 70.4 个百分点,且该差距在全部 4 种二元决策规则下均存在。yes/no 名称下重新分配还将平均 AUC 从 93.8% 降至低于随机的 23.2%,而随机字符串名称的翻转率接近中性对照组。整个过程中类型错误率保持 0%,表明类型正确的输出仍可能不遵循显式选项定义。
研究在分层潜在推理器中发现,学习到的修订时机虽能产生随内部状态变化的策略,但在三个预训练种子上均未超越同一冻结检查点上的最佳强制时机策略。对原始检查点的干预实验表明时机本身具有影响且对顺序敏感,穷举枚举显示强固定调度已捕获该决策预算下大部分可测价值。作者据此提出应从分数是否依赖状态、该依赖是否改变实际行为、以及改变是否带来超越强非自适应策略的收益三个维度评估元层控制。
针对基于分解的 Programming-by-Example(PBE),研究者提出 Solver-Aware Decomposition(SAD)训练框架:在保留 GT 子目标监督作为结构支架的同时,用策略梯度对分解器在线优化,奖励信号为冻结学习合成器在目标程序上的交叉熵损失。