稀疏自编码器表征的行为组合性研究:SAE Additivity Residuals 方法
研究者提出 SAE Additivity Residuals(SAR),用于衡量稀疏自编码器特征在选定交互阶数之上未被解释的行为变化。在 18 组模型与行为设置中,学习到的 SAE 坐标一阶残差均低于保持和不变的随机旋转;但坐标并非完全可加,成对项在所有设置中均改善留出联盟排序。
研究者提出 SAE Additivity Residuals(SAR),用于衡量稀疏自编码器特征在选定交互阶数之上未被解释的行为变化。在 18 组模型与行为设置中,学习到的 SAE 坐标一阶残差均低于保持和不变的随机旋转;但坐标并非完全可加,成对项在所有设置中均改善留出联盟排序。
一项日记研究与半结构化访谈(N=10)考察了人们如何在多个多模态大语言模型(MLLM)之间组织日常工作。用户会在模型中建立随使用场景变化的主次层级,并形成由任务聚合触发的个性化切换模式,以调节投入、延迟与输出可信度。研究指出,现有 HCI 研究多聚焦单一智能体交互,多 MLLM 协同编排仍待探索。
研究者发现,同一输入在不同指令下隐藏状态向量的差异集中在一个低维"表达子空间"中,无需基准标签即可识别该子空间,并从线性预测器中移除其贡献以获得"孤立判断"。在正确性、蕴含和安全任务上,孤立判断在未见指令下仍保持可靠;当判断问题被否定时,蕴含任务 AUROC 从 0.504 升至 0.825,安全任务从 0.480 升至 0.891。判断在表达子空间干扰预测器之前的更早层即可读出。
研究提出用主动学习结合人在回路(HiL)优化,确定分阶粘弹性模型参数以提升触觉渲染的真实感。该方法通过定性反馈为每个个体优化参数,再将HiL结果聚合为感知图,从中选出在一般人群中广泛被认为真实的群体级最优参数。针对三种粘弹性材料的实验验证了该方法的有效性,有望改善医学训练模拟器的sim-to-real迁移性能。
研究提出重分配敏感度分数(RSS),用于识别在提示词变换下方向一致且可复现的大幅特征响应。在覆盖 8 个语言模型、27 个预训练 SAE 上,RSS 支持集在未参与选择的变体上呈现可复现的重分配特征。在两个冻结安全读出中,RSS 支持侵蚀结合完整干净边际,以中位数 20 和 19 个特征分别取得 0.935 和 0.958 的复现失败 AUROC,低于完整侵蚀的 0.965 和 0.964。
KULTURE Bench 是一个专为韩国文化设计的评测框架,包含文化新闻、成语和诗歌数据集,从词、句、段落三个层面评估语言模型的文化理解与推理能力。研究团队用该基准测试了不同语料训练的模型,结果显示模型对韩国文化深层文本的理解仍有较大提升空间。
研究提出 RaRE(Rubrics as Rewards with Ensembles),一种面向 RaR 训练的评委集成策略,包含用评委 logprobs 加权高置信评委的 soft-Likert 奖励,以及将高分歧 rollout 排除出 GRPO 更新的 drop-on-disagreement 掩码。
研究团队推出 FDE-Gym,一个包含 95 个端到端交付任务的基准,覆盖 20 个客户场景、18 个行业,由行业专家从真实交付项目改编。在模拟客户环境中,13 个模型配置(来自 7 家提供商)表现最佳者平均得分仅 0.56,95 个任务中只解决 14 个。发现未明说的约束是主要瓶颈,即便最佳配置已获取全部关键事实的 23 个任务中,也仅 10 个达到 0.8 以上业务提升。
研究在 15 个预训练 LLM(70M 至 14B 参数,来自三个模型家族)及从零训练的最小 Transformer 上发现,LLM 在 N-back 任务中表现出与人类相似的工作记忆特征:记忆负载 N 增大时性能下降,错误集中于相邻错误位置的干扰项。
研究提出面向自主长周期机器学习工程优化的后训练方法,并据此训练出 35B MoE 智能体模型 MLExpert。该方法通过 Kaggle-MLE Factory 构建可执行任务与交互环境,用分层智能体 SFT 迁移工具使用和编码能力,并用 Windowed Interaction RL 把相邻实验结果之间的多轮决策作为一个执行窗口赋予共享结果奖励。
研究提出 CARE-SD 四模块架构,用于本地小语言模型的自我披露分析,在 82 份网络安全访谈上测试 Llama 1B、Qwen 1.5B 和 Llama 3B。该架构将 Llama 3B 的 Macro-F1 从 0.80 提升至 0.88,并将无依据论断减少 60%,3B 模型在类别 Macro-F1 上追平 20B 参考模型。
研究测试了三个模型家族的四个指令微调模型在五种印度语言和英语下的评估意识表现,发现当模型被告知正在被测试时,所有模型在全部六种语言中都更频繁地拒绝有害请求。在印度语言中,有害请求拒绝率平均上升 14.4 个百分点,测试提示使印度语言的有害请求拒绝率与英语持平,但同时也将良性印度语言请求的拒绝率从 6.9% 推高至 11.3%。
KnowGPO 是一个按任务相关知识而非表面观测对齐轨迹的强化学习框架,将查询所需信息拆解为原子知识条件,用已满足条件的子集表示轨迹状态,并对相同知识状态的轨迹分组比较,以步间知识增量为过程奖励。在 Xbench、BrowseComp-ZH 和 GAIA 上,KnowGPO 比 GRPO、GiGPO、IGPO 等基线高出 3.8 至 4.2 分,其 8B 模型可媲美或超过多数 32B 开源系统。
研究系统性地为连续扩散语言模型(CDLM)设计了专用 Transformer 架构 LangDiT,融合特征与 query-key 归一化、更宽的噪声条件、似然捷径梯度路由与校准、置信度门控训练自条件等技术。
研究者提出 INCONVENIENT 基准,用于评估 LLM 对便利样本偏差的鲁棒性。该基准不依赖自然域划分,而是直接扰动训练分布中的特征—目标关系,同时保留原始总体分布作为部署环境,并显式控制关系偏移的方向与强度。基准包含 200 个表格分类与回归数据集,生成约 15,500 个偏移训练分布,导致下游性能显著下降。
研究团队将四个 Gemini 4 Argon 智能体放入沙盒 Minecraft 生存世界,目标是击败末影龙。每个智能体通过开源库 Mineflayer 控制一名玩家,并用游戏内聊天和共享记忆协作,没有人为分配角色或编写游戏逻辑,程序全部由智能体自行规划、编写和调试。
AURA 框架通过直接监督中间推理状态对相关文档与困难干扰项的区分能力,并训练轻量效用估计器在推理时自适应调整推理深度。在 BRIGHT 基准上,AURA-4B 以平均 2.8 个推理步骤和每查询 96 个生成 token 达到 34.7 nDCG@10,自适应停止将延迟从 4.6 秒降至 0.76 秒。MS MARCO 上的结果表明,这种专门化不会显著降低常规域内检索性能。
研究者提出一种基于随机投影的 RAG 数据存储隐私保护方法,对数据存储嵌入向量和查询嵌入向量施加相同投影,可证明地保持查询与检索项之间的语义相似性,同时大幅缓解数据提取攻击。在多种 RAG 架构和数据集上,该轻量方法在检索与生成性能上优于此前依赖形式化差分隐私(DP)保证的方法,在强攻击模型下经验隐私性相当。
研究者发布 VELD-QA,一个面向长文档视觉证据定位与问答的大规模基准,包含 15,000 个人工编写问答对,覆盖 5,859 份真实 PDF、共 372,445 页,均衡涵盖图表、表格与复杂版式任务。
EliteReplay 是一种将 GRPO 与质量-多样性搜索构建的"精英"存档配对的 LLM 后训练方法,训练前用冻结基座模型收集不同解法的样本,训练中结合存档上的 replay loss。
研究在 ARC-AGI-3、AGI Maze 和 Terminal-Bench 上评测基于 Codex 的环境无关智能体,仅修改一条鼓励报告困难并交回控制权的指令,即提升 ARC-AGI-3 与 AGI Maze 的平均得分,Terminal-Bench 变化微小且不一。
LEASH 是一个免训练框架,通过弱模型的潜在不确定性信号决定何时将控制权交给强模型,并在交接后持续监督强黑盒智能体。在 OSWorld 上,LEASH 在匹配升级率下比随机升级高出 6.55–11.94 分;搭配 Qwen3.5-35B-A3B 时任务成功率达 73.66%,每任务成本 $0.4117,与始终在线的 Claude Opus 5(72.90%)持平,推理成本降低 19.2%。
一项被 GLOBECOM 2026 接收的研究提出无接触多模态筛查框架,利用 Amazon Alexa 结构化语音交互中采集的视频、音频和文本信号检测认知衰退。
研究提出 X-RIC 框架,将智能体 AI 引入 O-RAN 架构,把反应式强化学习与智能体推理结合,包含基于领域启发式的自动行为克隆、提供上下文抽象与可解释性的 Telecom Language Model(TLM),以及在 Near-RT RIC 控制环内的闭环协同自适应。
研究指出,自生成标签的多数投票奖励之所以能追踪可验证奖励,关键在于批次级更新而非提示词级正确性:参数共享使单个提示词的梯度在实际批次规模下对该提示词输出的贡献不足 1%,错误标签只有在跨提示词方向一致时才有影响。
研究者提出一种无需真实标注监督的弱到强路由方法,通过模型间分歧信号决定何时将小模型响应路由至更强模型。该方法先刻画最优路由策略,再基于模型间比较推导出有原则的近似方案,且强模型越接近真实分布近似越准确。在智能体与单轮任务中,该方法无需真实标注即可平衡路由成本与响应准确率,即使有真实正确性信号用于训练,基于分歧的路由仍可超越直接预测正确性的方法。
CogDrift-4D 是一个分层 4D Transformer 框架,用于轻度认知障碍(MCI)检测,在结构化言语与语言交互评测中取得 0.733±0.13 的分类准确率和 0.716±0.14 的 F1 分数,优于先进基线。
研究通过分析注意力模式,考察视觉语言模型(VLM)处理否定的机制,并对比人类注视与模型注意力在肯定句和否定句下的差异。结果显示模型处理否定时通常不遵循类人注意力模式,PaliGemma2-3B 在否定下会将物体注意力转向替代对象,但头级消融表明这只是副产物而非否定处理机制;LLaVA-1.5-7B 则表现出对左侧物体的空间偏好。下游任务评估显示所有模型在肯定与否定问题上均存在性能差距。
研究者提出三级捷径审计框架,审计 LinuxArena 轨迹和两个 TS-Bench 衍生数据集,发现基准数据的表征方式会实质性改变安全守卫的决策与评估表现。
研究提出一种新的冲突图模型,将此前被忽略的 DSA 模板边到边间距约束纳入其中,并用图神经网络驱动的局部精修策略实现高效可扩展的版图分解。实验显示该方法相比 SOTA 方法解质量更高、收敛更快,并在不同版图规模、设计风格、工艺节点和掩模数量下保持稳健。该工作已被 ICCAD 2026 接收。
研究提出 Gibbs-Gap Policy Optimization(GGPO),通过对同一提示词下各回复的 KL 调整奖励做 log-mean-exp 对比来优化策略,无需 learner-to-behavior 重要性权重。
HTN-Orchestrate 是一个两层多智能体编排框架,用分层任务网络分离全局规划与局部执行:Planner 维护子任务层级与依赖并推迟分解,Orchestrator 调度 worker 执行叶子子任务,结果按 AND 语义向上传播。
AutoSFT 是一个多智能体系统,用于自动化监督微调(SFT)中的数据研究。它通过元智能体将执行与分析分离,从独立角度收集提案,并调用合成子智能体补充数据池无法覆盖的能力。相比单智能体仅能调整类别比例,其分析子智能体将最佳 IFEval 提升 +6.5,合成再增 +3.4 IFEval 和 +2.9 IFBench,代码任务上分析带来 +3.7 MBPP+。
Terminal-RSI 通过交替进行已验证轨迹的递归自改写(RSR)与继承评论家的递归策略精炼(RPR),从 Qwen3.8-27B 基座模型经五阶段训练得到 Terminal-RSI-27B。
TurboMamba 是一种语言模型架构,由每完成一个 token 块运行一次的全局 Mamba-3 模型与一个小型 Transformer 组成,后者结合全局上下文和块内前序 token 预测下一个 token。
研究者开发了一款通用 AI 导师系统,可处理学生用外语(当前聚焦中文)提出的问题并给出双语回答,同时生成技术术语词汇表及解释。该系统采用专门的 RAG 流水线与新颖的问题提取机制,以利用多样化课程材料。基于 91 条 Piazza 帖子评测,系统正确且有效地回答了 83.52% 的问题,为 76.92% 的问题提供了高质量翻译,并为 64.47% 的问题生成了术语词汇表。
CascadeLedger 是一个面向预算受限语言模型级联的反事实执行审计框架,通过调用先于读取语义、服务与缓存身份绑定及事件轨迹冻结,判定聚合等价轨迹有效性。其两层审计在冻结缓存、独立生成与服务评估中实现 0.0000 假阳性率,检出 0.9983 的序列化故障与 0.9982 的未记录隐藏读取故障,并在确定性重算后改变 0.3403 的受损质量-资源结论。
研究团队推出 Realtime-Bench,用于评测智能体在严格时间约束下的实时交互能力。在按实际推理延迟推进环境的 Wall Clock 设定下,最佳成功率仅 44%,最佳 Pass^3 仅 36%。研究还对比了排除推理延迟的 Paused Clock 与按生成 token 数推进模拟时间的 Token Clock,发现时间成本制约了动态环境中的表现,且提高推理投入在时间压力下效果不一。
研究测量了 RLVR 报告的域外增益中有多少来自答案格式而非答案本身。在四个已发布的 7B SimpleRL base-RL 模型对上,用公开代码提取器报告的域外多选题增益有 82% 在改用能同时读取 \boxed{} 与正文的提取器后消失;独立 LLM 读者给出的比例为 77%,要求输出框的提示词下为 79%。而在另一个配方训练的 32B 模型对上,报告的增益几乎不含格式增益。
RAG-RST 是一个检索增强框架,通过上下文示例而非参数更新为 LLM 提供篇章结构,无需训练即将核心性从 0.794 F1 提升至 0.846 F1、关系从 0.738 F1 提升至 0.788 F1。