跳到正文
10月16日周五
  1. arXiv cs.AI22

    面向评估器引导测试时推理的置信度校准推理扩展

    研究将评估器引导推理建模为计算感知的三动作控制器,在信任当前答案、回退与继续扩展之间做选择,并按预测答案成功率与基于 rollout 的延续成功代理打分,显式计入计算成本。在留出的宽度扩展与修订任务上,该控制器相比校准选定的固定策略提升了观测效用,同时将归一化在线计算量分别降低约 30% 和 16%。在四个 Qwen3-8B 随机种子上,两种设置的计算量均低于拟合 Q,效用差异较小且方向不一。

  2. arXiv cs.AI30

    一种自我改进的智能体如何生长出自己的 DSL:面向精确问答的无 Oracle 算子归纳

    一个冻结模型通过内外双层循环,在无奖励、无评判模型、无答案键的条件下生长出自己的 DSL 算子,实现精确问答。内层循环仅在两个独立编写的表达式对每条记录一致时才作答,将可回答问题集扩大约三倍;外层循环自主发现缺失能力并编写算子,仅在独立第二实现一致且结果满足守恒律时接纳。

  3. arXiv cs.CL26

    全双工语音语言模型的参考引导轮流说话风格迁移

    研究者从全双工语音语言模型自身对话中提取出一个晚期层残差流方向——"主动性向量",无需训练或标注即可读取并调控模型的说话决策,提前最多 800 ms 预判话轮起始。生成时缩放该向量可将语音占比从 6-12% 提升至 42-61%(不干预时为 21-30%),且跨对话、权重和语料保持一致。仅需一段简短参考录音即可将说话人的轮流说话风格迁移给模型,换用他人参考时 93-98% 的情况下匹配变差。

  4. arXiv cs.AI32

    开放世界 AI 的三项要求:一项基于 8B 语言模型的实证研究

    研究提出开放世界 AI 需满足三项要求:推理时学习、丰富表征与预测性解耦,并将任务建模为共享潜在因子、分解训练目标推导得出。在最高 8B 的语言模型上验证显示,满足要求的模型会随相关任务数据积累而提升,其余模型则退化,且扩大规模或层类型交错都无法修复。分析还预测了一致内部学习者的必要性以及跨相关任务长上下文的收益。

  5. arXiv cs.CL27

    CoTS:面向大语言模型隐式推理的竞争性 token 选择

    研究者提出免训练框架 CoTS,将隐式推理干预从二元模式选择改为 token 级的连续分配,利用两个最可能候选 token 的概率竞争动态平衡离散承诺与软探索。候选明显占优时保持接近采样离散 token 以稳定推理轨迹,竞争加剧时则提升软表示贡献以保留备选路径。该方法无需人工设定切换阈值或混合系数,也不增加额外前向计算,在六个推理基准上持续优于标准 CoT 及当前最优的免训练隐式推理方法。

  6. arXiv cs.CL20

    排列扩散 LLM 的设计空间探索

    研究通过三种扩散 LLM 参数化方法解决排列生成问题:基于打乱候选索引序列的硬分配预测、基于双随机矩阵的软分配预测,以及直接预测排序分数后排序。在三个 Amazon 领域的推荐重排序任务(候选集大小 10 和 20)上,单次函数评估时硬分配和软分配变体的 Recall@1 与受限掩码扩散基线相当,而直接排序分数预测无需匈牙利算法或 Sinkhorn 归一化即可保证有效排列。

  7. arXiv cs.AI22

    L2G-SR:学习引导 LLM 符号回归

    L2G-SR 是一个用学习到的结构验证器引导 LLM 符号回归搜索的框架,通过树编辑距离(TED)构建结构监督信号,在搜索时用验证器补充数值误差进行父代选择。在 LLM-SRBench 上,该框架在评测的多个 LLM 骨干和领域上取得数值拟合、方程级准确率和 TED 的 SOTA。

  8. arXiv cs.AI32

    AlphaDiana:面向智能体可验证推理任务的测量系统

    AlphaDiana 是一个模块化测量系统,通过数据集、智能体、环境和评分器的接口,在保留 harness 原生控制循环的同时分别控制文件复用与记忆保留。研究用 3 个开源模型和 3 个开源 harness 在 5 个答案型基准上测试,发现 harness 并不能稳定提升推理准确率:在模型单独答错的问题上取得的增益,可能被其原本答对问题上的损失抵消。

  9. arXiv cs.AI30

    基准饱和后如何评估模型能力:任务转录仍保留能力信号

    研究探讨基准分数饱和后能否用任务转录评估模型能力,通过历史基准与模型发布回溯模拟饱和场景,测试仅访问已饱和基准中正确解答转录的协议能否预测未饱和留出项上的能力。结果显示饱和转录仍保留超出基准准确率的能力信息,其中成对评判表现最佳,预测误差比仅用饱和基准分数的基线降低 5.3 倍,但预测能力在分布偏移下并不总能泛化,例如会低估 2025 年初首批推理模型的能力。

  10. arXiv cs.MA20

    多智能体系统中时序目标的理性策略学习

    研究针对动态未知的随机多智能体系统,提出将每个智能体的概率时序目标(用 PLTL_f 描述)转化为奖励自动机,并在 Nash 均衡、子博弈完美均衡等解概念约束下求解理性综合问题。方法基于表格型 Nash-Q 学习,给出条件收敛保证,并用同时有限样本置信界验证满足性、以近似最佳响应检查评估策略稳定性。在 8 个一般和并发随机博弈上完成实证验证。

  11. arXiv cs.MA22

    多智能体聚合的偏见控制与注入

    针对 LLM 多智能体推理中因多数压力和回答风格偏好等非语义偏见导致的决策分歧,研究者提出一种测试时聚合框架:通过为每个不同答案呈现一条风格归一化的推理轨迹实现偏见控制,并将各聚合智能体初选答案置于少数派以注入偏见。

  12. arXiv cs.MA26

    语言模型集成如何无标签估计可靠性:陪审团而非选民

    研究者提出将语言模型集成视为陪审团,通过专家间一致与分歧模式,用EM算法在无标签条件下估计各专家可靠性,其决策规则等价于对专家答案分布的log-odds加权线性评分。在1560题基准上,9个最大3B参数的专家集成表现与使用标签拟合权重的融合规则相当,监督未带来统计显著优势,同时优于匹配自洽性的最佳单模型和最强的无标签替代方案。

  13. arXiv cs.MA18

    学习之前先算可行性上限:无人机网状拦截的规模与时机边界

    针对 N 个智能体各覆盖半径 r 圆盘、需覆盖目标到达点概率密度的多智能体拦截问题,研究给出了不依赖策略的性能上限闭式解并经蒙特卡洛验证。在智能体间距至少 2r 时,平面覆盖率上限为 90.69%、体积为 74.05%,该上限源于分离约束而非问题本身,允许重叠后改用 Kershner 最薄覆盖密度即可突破,交叉点在 p=0.80。作者主张此类上限应在任何学习实验前计算,并与每个结果一同报告。

  14. arXiv cs.CY34

    用 SAE 特征引导缓解小模型欺骗行为:Gemma-3-27B-IT 合规差距降至不显著

    研究用 SAE 特征引导测试能否缓解小 LLM 的合规差距,在 Gemma-3-27B-IT 上将合规差距降至不显著,但相同配置对 LLaMA-3-8B-Instruct 无效。团队提出基于词袋的特征引导流程来定位概念级引导方向,并在 scratchpad 轨迹中发现"欺骗性钝化"行为:刻意削弱回复的对齐功能(如有害性)却保留对齐表象。这是首个激活层面机制干预可缓解对齐伪装合规差距的证据。

  15. RadarAI50

    Anthropic 新一代反蒸馏防御体系拆解

    Anthropic 发布反蒸馏防御措施,针对模型蒸馏攻击构建三层防御:通过推理摘要掩盖原始思维链(CoT)、限制 API 账号编辑上下文和跨模型读取以切断攻击路径。文章指出原始推理记录是攻击者主要目标,能显著提升蒸馏模型表现,并提及针对智谱、月之暗面的具体指控。

  16. Apple Machine Learning Research26

    Apple 提出 SSR:基于选择的结构化推理,让多模态搜索智能体更高效

    Apple 提出 Selection-based Structured Reasoning(SSR)框架,将推理从开放式生成改为从预设自然语言候选推理中按似然度选择,无需辅助任务头,并借助共享上下文 KV cache 并行打分。在 2B 和 4B 模型、七个多模态搜索基准上,SSR 平均成功率与同规模领先搜索智能体相当,单轮推理延迟降低超 90%,每题模型总推理延迟降低 28–54%。