什么在追踪难负样本迁移?词汇与语义信号研究
一项研究比较了词汇非覆盖度、冻结编码器相似度统计、难度代理等信号,在 BM25、稠密、LLM 生成及混合来源的 MS MARCO 训练数据上对稠密检索器迁移的追踪能力。在三个检索器骨干和十一个 BEIR 数据集上,IDF 加权的平均词汇残差性复现了全部六组骨干与设置块的迁移排序,而语义统计量均无法恢复完整排序,与词汇信号结合也未提升排序一致性。
一项研究比较了词汇非覆盖度、冻结编码器相似度统计、难度代理等信号,在 BM25、稠密、LLM 生成及混合来源的 MS MARCO 训练数据上对稠密检索器迁移的追踪能力。在三个检索器骨干和十一个 BEIR 数据集上,IDF 加权的平均词汇残差性复现了全部六组骨干与设置块的迁移排序,而语义统计量均无法恢复完整排序,与词汇信号结合也未提升排序一致性。
研究者提出 SPRA(Structured Paper Representation for Agents),一种以持久化研究对象和类型化关系组织的论文级表示,其 empirical-AI 配置涵盖 Problems、Contributions、Components、ExperimentSetups、Measures 和 Findings。
Auto-AEG 通过程序合成带精确时间区间的音频片段做冷启动监督,再用多模型伪标签在真实音频上提供强化学习奖励信号,构建开放词汇音频事件定位所需的 onset/offset 监督数据。该流程在独立的分层难度基准 AEGBench 上带来大幅时间定位提升,并泛化到多个留出的 SED 与音频定位基准,其标注已开源。
GeoBridge 是一个可演化搜索可迁移解码器拓扑的框架,通过残差、串行、并行组合可配置原语,使阶段内部拓扑可搜索,单次源搜索约需 12 GPU 小时。
研究者发现,开放指令微调语言模型无需额外训练,仅通过读取最后一个 token 位置输出 logits 中 A、B、C 等字母的概率,即可实现与 Jev 相当的决策性能。
一项研究提出 ArXivDoc 基准,基于科学论文的 LaTeX 源码构建,用于比较文本、图像与多模态表示在科学文档检索中的效果。结果显示,文档即图像表示持续表现次优,且随文档长度增加更明显;纯文本表示最有效,即使面对图表类查询也能借助图注和上下文取得优势;交错文本+图像表示无需专门训练即可超越文档即图像方法。
研究者提出 SynthKGQA,一个由 LLM 驱动的框架,可从任意知识图谱生成高质量知识图谱问答数据集,并提供完整的真值事实集合。基于 Wikidata 衍生的 ogbl-wikikg2 构建的 GTSQA 数据集,专门测试对未见图结构和关系类型的零样本泛化能力。实验显示,在 GTSQA 上训练的 KG 检索器可迁移到人工标注基准,且其真值子图比以往启发式方法提供更好的训练监督信号。
MemeTrace 是一个基于多模态 LLM 的智能体,可自动追溯新兴表情包的来源与潜在风险,并在 Meme100(100 个真实表情包数据集)上通过人工标注与自动指标评估,表现大幅优于 VLM 基线。它在检测不安全表情包(尤其是涉及虚假信息与敏感内容)上准确率更高,且在视觉扰动下保持稳健。
清华论文提出 TokenRouter,一个在 token 级进行大小模型路由的服务系统,吞吐量最高达现有方案的 64.15 倍。针对 vLLM、SGLang 等框架一次请求只跑一个模型、双模型协作时每步都等慢模型的问题,TokenRouter 让每个模型独立部署并来回传递半成品答案,同时保留 KV cache,并短暂挂起请求以凑更大批次。
CompOrca 为 OpenOrca 语料全部 4,233,923 条样本提供合规标签,由开源权重模型 LongCat-2.0(1.6T 参数)进行五轮判定,并划分为一致合规(94.75%)、一致不合规(1.28%)与非一致行(3.97%)。
研究者将扩散模型、自回归(AR)模型及其中间形态统一描述为同一"损坏格"上的路径,并定义调度成本为并行步骤所丢弃的依赖关系。对于图上马尔可夫数据,零成本调度的最少步数等于图的 treedepth,该值随序列长度呈对数增长、随网格边长呈线性增长。在文本、图像和视频生成任务中,基于预训练权重估计的成对依赖核可在解码前预测不同调度的成本排名,且大部分预测得到验证。
研究用"概率签名"方法揭示两层网络学习模加法的机制:梯度交互由训练分布的循环移位算子表达,并被离散傅里叶变换对角化,从而近似解耦出各傅里叶模态动力学,解释了傅里叶稀疏性、频率匹配与相位对齐的出现。该框架还解释了标签噪声下受损样本早期损失下降快于干净样本的现象——噪声增加条件标签碰撞、强化早期共享坐标。以 XOR 为例的实验也观察到预测频率。
研究者提出 RELER(REinforcement LEarning for Retrieval),一个让现有嵌入模型直接在嵌入空间中学习检索并对齐任务奖励的强化学习框架。
AlignQuant 是一种训练后量化方法,以 GPU 兼容的二维权重 tile 作为精度分配、紧凑存储与执行的统一单元,让精度在输出通道内跟随敏感度分布。该方法针对细粒度混合精度量化中局部精度选择与 GPU 规则存储计算单元冲突的精度边界错配问题,并采用联合 prefill/decode 校准打分。
针对 LLM 智能体在企业网络中难以在不检查用户私密内容的前提下审计其行为,研究者发布 ANT(Agent Network Traffic)数据集,在风险、场景和行为原语三个粒度上提供智能体行为标注。该数据集填补了现有流量数据集缺少任务与阶段联合标注的空白,可用于评估网络流量究竟能揭示多少智能体任务与操作信息。
研究者提出 AgentPrivArena,一个用于评估真实 LLM 智能体工作流隐私风险的框架,集成真实 MCP 工具与自托管服务。现有基准多依赖模拟轨迹和结果导向指标,难以捕捉多步智能体执行过程中产生的隐私风险。
研究首次系统评估了具身智能体的越狱护栏,发现现有安全基准只评测具身模型本身,无法反映护栏在实际部署中的防御效果。该工作针对 LLM 与视觉语言模型驱动的具身智能体,比较了多种拦截危险动作的护栏方法。
Google 发布论文 Cogentic,用多智能体编排让 Gemini 在 5 个未解数学问题上找到新证明,并经人类专家逐一确认。系统由多个 Agent 并行尝试不同思路,审查者默认每步有错直到被证明,已证明的中间结果留存到下一轮,多数问题约 100 次模型调用完成。论文地址为 arxiv.org/abs/2609.40324。