LLM 在印度语言中是否表现出评估意识?跨语言安全评测研究
研究测试了三个模型家族的四个指令微调模型在五种印度语言和英语下的评估意识表现,发现当模型被告知正在被测试时,所有模型在全部六种语言中都更频繁地拒绝有害请求。在印度语言中,有害请求拒绝率平均上升 14.4 个百分点,测试提示使印度语言的有害请求拒绝率与英语持平,但同时也将良性印度语言请求的拒绝率从 6.9% 推高至 11.3%。
研究测试了三个模型家族的四个指令微调模型在五种印度语言和英语下的评估意识表现,发现当模型被告知正在被测试时,所有模型在全部六种语言中都更频繁地拒绝有害请求。在印度语言中,有害请求拒绝率平均上升 14.4 个百分点,测试提示使印度语言的有害请求拒绝率与英语持平,但同时也将良性印度语言请求的拒绝率从 6.9% 推高至 11.3%。
KnowGPO 是一个按任务相关知识而非表面观测对齐轨迹的强化学习框架,将查询所需信息拆解为原子知识条件,用已满足条件的子集表示轨迹状态,并对相同知识状态的轨迹分组比较,以步间知识增量为过程奖励。在 Xbench、BrowseComp-ZH 和 GAIA 上,KnowGPO 比 GRPO、GiGPO、IGPO 等基线高出 3.8 至 4.2 分,其 8B 模型可媲美或超过多数 32B 开源系统。
研究系统性地为连续扩散语言模型(CDLM)设计了专用 Transformer 架构 LangDiT,融合特征与 query-key 归一化、更宽的噪声条件、似然捷径梯度路由与校准、置信度门控训练自条件等技术。
研究者提出 INCONVENIENT 基准,用于评估 LLM 对便利样本偏差的鲁棒性。该基准不依赖自然域划分,而是直接扰动训练分布中的特征—目标关系,同时保留原始总体分布作为部署环境,并显式控制关系偏移的方向与强度。基准包含 200 个表格分类与回归数据集,生成约 15,500 个偏移训练分布,导致下游性能显著下降。
研究团队将四个 Gemini 4 Argon 智能体放入沙盒 Minecraft 生存世界,目标是击败末影龙。每个智能体通过开源库 Mineflayer 控制一名玩家,并用游戏内聊天和共享记忆协作,没有人为分配角色或编写游戏逻辑,程序全部由智能体自行规划、编写和调试。
AURA 框架通过直接监督中间推理状态对相关文档与困难干扰项的区分能力,并训练轻量效用估计器在推理时自适应调整推理深度。在 BRIGHT 基准上,AURA-4B 以平均 2.8 个推理步骤和每查询 96 个生成 token 达到 34.7 nDCG@10,自适应停止将延迟从 4.6 秒降至 0.76 秒。MS MARCO 上的结果表明,这种专门化不会显著降低常规域内检索性能。
研究者提出一种基于随机投影的 RAG 数据存储隐私保护方法,对数据存储嵌入向量和查询嵌入向量施加相同投影,可证明地保持查询与检索项之间的语义相似性,同时大幅缓解数据提取攻击。在多种 RAG 架构和数据集上,该轻量方法在检索与生成性能上优于此前依赖形式化差分隐私(DP)保证的方法,在强攻击模型下经验隐私性相当。
研究者发布 VELD-QA,一个面向长文档视觉证据定位与问答的大规模基准,包含 15,000 个人工编写问答对,覆盖 5,859 份真实 PDF、共 372,445 页,均衡涵盖图表、表格与复杂版式任务。
EliteReplay 是一种将 GRPO 与质量-多样性搜索构建的"精英"存档配对的 LLM 后训练方法,训练前用冻结基座模型收集不同解法的样本,训练中结合存档上的 replay loss。
研究在 ARC-AGI-3、AGI Maze 和 Terminal-Bench 上评测基于 Codex 的环境无关智能体,仅修改一条鼓励报告困难并交回控制权的指令,即提升 ARC-AGI-3 与 AGI Maze 的平均得分,Terminal-Bench 变化微小且不一。
LEASH 是一个免训练框架,通过弱模型的潜在不确定性信号决定何时将控制权交给强模型,并在交接后持续监督强黑盒智能体。在 OSWorld 上,LEASH 在匹配升级率下比随机升级高出 6.55–11.94 分;搭配 Qwen3.5-35B-A3B 时任务成功率达 73.66%,每任务成本 $0.4117,与始终在线的 Claude Opus 5(72.90%)持平,推理成本降低 19.2%。
一项被 GLOBECOM 2026 接收的研究提出无接触多模态筛查框架,利用 Amazon Alexa 结构化语音交互中采集的视频、音频和文本信号检测认知衰退。
研究提出 X-RIC 框架,将智能体 AI 引入 O-RAN 架构,把反应式强化学习与智能体推理结合,包含基于领域启发式的自动行为克隆、提供上下文抽象与可解释性的 Telecom Language Model(TLM),以及在 Near-RT RIC 控制环内的闭环协同自适应。
研究指出,自生成标签的多数投票奖励之所以能追踪可验证奖励,关键在于批次级更新而非提示词级正确性:参数共享使单个提示词的梯度在实际批次规模下对该提示词输出的贡献不足 1%,错误标签只有在跨提示词方向一致时才有影响。
研究者提出一种无需真实标注监督的弱到强路由方法,通过模型间分歧信号决定何时将小模型响应路由至更强模型。该方法先刻画最优路由策略,再基于模型间比较推导出有原则的近似方案,且强模型越接近真实分布近似越准确。在智能体与单轮任务中,该方法无需真实标注即可平衡路由成本与响应准确率,即使有真实正确性信号用于训练,基于分歧的路由仍可超越直接预测正确性的方法。
CogDrift-4D 是一个分层 4D Transformer 框架,用于轻度认知障碍(MCI)检测,在结构化言语与语言交互评测中取得 0.733±0.13 的分类准确率和 0.716±0.14 的 F1 分数,优于先进基线。
研究通过分析注意力模式,考察视觉语言模型(VLM)处理否定的机制,并对比人类注视与模型注意力在肯定句和否定句下的差异。结果显示模型处理否定时通常不遵循类人注意力模式,PaliGemma2-3B 在否定下会将物体注意力转向替代对象,但头级消融表明这只是副产物而非否定处理机制;LLaVA-1.5-7B 则表现出对左侧物体的空间偏好。下游任务评估显示所有模型在肯定与否定问题上均存在性能差距。
研究者提出三级捷径审计框架,审计 LinuxArena 轨迹和两个 TS-Bench 衍生数据集,发现基准数据的表征方式会实质性改变安全守卫的决策与评估表现。
研究提出一种新的冲突图模型,将此前被忽略的 DSA 模板边到边间距约束纳入其中,并用图神经网络驱动的局部精修策略实现高效可扩展的版图分解。实验显示该方法相比 SOTA 方法解质量更高、收敛更快,并在不同版图规模、设计风格、工艺节点和掩模数量下保持稳健。该工作已被 ICCAD 2026 接收。
研究提出 Gibbs-Gap Policy Optimization(GGPO),通过对同一提示词下各回复的 KL 调整奖励做 log-mean-exp 对比来优化策略,无需 learner-to-behavior 重要性权重。
HTN-Orchestrate 是一个两层多智能体编排框架,用分层任务网络分离全局规划与局部执行:Planner 维护子任务层级与依赖并推迟分解,Orchestrator 调度 worker 执行叶子子任务,结果按 AND 语义向上传播。
AutoSFT 是一个多智能体系统,用于自动化监督微调(SFT)中的数据研究。它通过元智能体将执行与分析分离,从独立角度收集提案,并调用合成子智能体补充数据池无法覆盖的能力。相比单智能体仅能调整类别比例,其分析子智能体将最佳 IFEval 提升 +6.5,合成再增 +3.4 IFEval 和 +2.9 IFBench,代码任务上分析带来 +3.7 MBPP+。
Terminal-RSI 通过交替进行已验证轨迹的递归自改写(RSR)与继承评论家的递归策略精炼(RPR),从 Qwen3.8-27B 基座模型经五阶段训练得到 Terminal-RSI-27B。
TurboMamba 是一种语言模型架构,由每完成一个 token 块运行一次的全局 Mamba-3 模型与一个小型 Transformer 组成,后者结合全局上下文和块内前序 token 预测下一个 token。
研究者开发了一款通用 AI 导师系统,可处理学生用外语(当前聚焦中文)提出的问题并给出双语回答,同时生成技术术语词汇表及解释。该系统采用专门的 RAG 流水线与新颖的问题提取机制,以利用多样化课程材料。基于 91 条 Piazza 帖子评测,系统正确且有效地回答了 83.52% 的问题,为 76.92% 的问题提供了高质量翻译,并为 64.47% 的问题生成了术语词汇表。
CascadeLedger 是一个面向预算受限语言模型级联的反事实执行审计框架,通过调用先于读取语义、服务与缓存身份绑定及事件轨迹冻结,判定聚合等价轨迹有效性。其两层审计在冻结缓存、独立生成与服务评估中实现 0.0000 假阳性率,检出 0.9983 的序列化故障与 0.9982 的未记录隐藏读取故障,并在确定性重算后改变 0.3403 的受损质量-资源结论。
研究团队推出 Realtime-Bench,用于评测智能体在严格时间约束下的实时交互能力。在按实际推理延迟推进环境的 Wall Clock 设定下,最佳成功率仅 44%,最佳 Pass^3 仅 36%。研究还对比了排除推理延迟的 Paused Clock 与按生成 token 数推进模拟时间的 Token Clock,发现时间成本制约了动态环境中的表现,且提高推理投入在时间压力下效果不一。
研究测量了 RLVR 报告的域外增益中有多少来自答案格式而非答案本身。在四个已发布的 7B SimpleRL base-RL 模型对上,用公开代码提取器报告的域外多选题增益有 82% 在改用能同时读取 \boxed{} 与正文的提取器后消失;独立 LLM 读者给出的比例为 77%,要求输出框的提示词下为 79%。而在另一个配方训练的 32B 模型对上,报告的增益几乎不含格式增益。
RAG-RST 是一个检索增强框架,通过上下文示例而非参数更新为 LLM 提供篇章结构,无需训练即将核心性从 0.794 F1 提升至 0.846 F1、关系从 0.738 F1 提升至 0.788 F1。
研究提出一种对话智能体的“人工偏私”行为机制,由“关怀”(在每用户保底服务之上分配有限交互盈余)与“特殊性”(基于关系历史累积的每用户状态估计)两部分构成,并在一个开放权重基座模型上以持久层实现。
针对 LLM 置信度分数校准问题,研究者提出可靠性框架 RADAR,将置信度修复与是否采纳修复、审计残余错误分离。其修复方法 PAIC 从未标注目标提示词的正确性探针预测中学习单调映射,在 47,400 次重放原始分数分配中,配对投注在 42.95% 的分配里采纳了留出测试风险更低的候选,而单侧经验 Bernstein 仅为 15.09%。
研究者推出 MagiC 基准,用于评估大视觉语言模型是否真正进行有依据的视觉推理,而非依赖表面模式与数据集偏差。该基准包含约 5,500 条弱监督 QA 样本和 900 条人工精标样本(含答案、推理依据与边界框标注),在四个维度上评测了 15 个 7B 至 70B 参数的视觉语言模型,并引入 MagiScore 与 StepSense 新指标。
针对多模态持续指令微调中投影器与语言模型非对称适配导致的表征漂移和灾难性遗忘问题,研究者提出兼容路由 CART,为两个模块分别维护任务专属专家并通过加权混合组合,同时考虑专家相关性与跨模块兼容性来联合推断权重。CART 还引入相关性引导的专家合并机制以控制模型规模增长,实验显示其达到 SOTA 性能。
研究团队提出 OmniVerifier-C1,将传统只输出 True/False 的二值视觉验证器改为自动把复杂提示词或环境规则拆解为细粒度子问题并逐项打分的分级验证器,输出连续且可解释的评判信号。
DropKV 是一种基于解耦残差输出扰动(Decoupled Residual-Output Perturbation)的 KV-Cache 淘汰框架,通过将联合淘汰决策拆分为独立的逐 token 打分,绕开 NP-hard 组合难题,并在锥条件下提供可证明的常数因子近似保证。
研究提出用集合级强化学习目标训练 LLM 生成多样化科学创意:模型一次生成 K 张结构化创意卡片,每张创意的质量按其与前面创意的距离加权,从而学会让新创意远离已有创意。
PROBE(Policy Rule Observation via Behavioral Exploration)是一种训练 LLM 审计器的算法,让审计器以真实用户身份与已部署智能体进行多轮、工具介导的对话,主动探测策略违规。
MindEval2 是一个用于评估语言模型心理健康支持能力的框架,包含与 PhD 级心理学家合作开发的 Mental Health Quality Rubrics(MHQR)评分标准和结合患者画像与工具、带记忆组件的 MindSim 患者模拟器。
研究者提出 Shared Residual Distillation(SRD),一种 on-policy 自蒸馏方法,让模型直接从自身未经正确性验证的同侪轨迹中学习,通过对比同侪相对对照组对预测分布的调整,保留方向一致且幅度保守的修正。
研究者推出 Grid-Bench,一个可执行基准,用二、三、四维网格表示离散世界,让模型在给定初始网格、显式规则和文本事件历史后预测完整最终网格。评估六款 LLM 显示,随着历史变长,完整状态准确率急剧下降,单事件表现相近的模型出现明显分化。参考执行使每个预测值可核验,从而在空间操作、历史长度和工作负载间直接比较。