跳到正文
10月16日周五
  1. arXiv cs.AI26

    通过局部上下文蒸馏从交互经验中学习

    研究者提出局部上下文蒸馏(LoCD),先定位学生轨迹中需要修正的关键片段,再由教师基于学生自身前缀重新生成这些片段并用于训练学生。在数学推理、代码生成和智能体任务上,LoCD 持续优于强基线,训练更稳定,参数更新更小更稀疏。

  2. arXiv cs.AI60

    JevAgentHarness:让决策模型与 LLM 共享控制权的基准、部署与训练

    论文提出 JevAgentHarness,把智能体每一步的工具选择等决策委托给决策模型,仅在置信度低于阈值时交由 LLM 决定。作者构建 AgentDecisionBench,覆盖从孤立问题到控制运行中智能体的测试;孤立问题上最准的决策模型仅解决 69.5% 的智能体任务,未拟合置信度阈值时委托工具选择会使成功率下降 19.0 个百分点。

  3. arXiv cs.AI31

    MemCut:LLM 智能体长期记忆中的每个秘密都会留下痕迹

    研究者提出 MemCut,一个针对 LLM 智能体用户请求遗忘能力的系统性基准,包含 456 个手工设计的秘密及其完整标注的证据链,用于测试删除后的信息恢复。基准定义原生恢复与残差恢复两项指标,并在五种记忆设计和四种 LLM 上建立三个参考删除基线。结果显示,LLM 引导删除二十个检索候选中的额外十轮对话后,仍残留 39-76% 的恢复率,候选覆盖不足是现有基线的瓶颈。

  4. arXiv cs.AI22

    分层图卷积网络 HGCN 用于检测低质量文档

    研究提出分层图卷积网络(HGCN),可检测文档内部不一致以及标题与正文不符,并基于已发表新闻数据及元数据构建了 Inconsistency Dataset。HGCN 在该数据集上取得 91.20% 的准确率,优于对比模型;在公开的标题正文不符数据集上达到 92.00%。消融实验证实元数据的使用对性能提升有显著作用。

  5. arXiv cs.AI24

    FedSkillGit:基于版本控制的联邦技能进化框架

    FedSkillGit 用 commit 式补丁更新替代整份技能文档上传,实现联邦技能进化:客户端只提交命名规则上的有限补丁及本地经验,经两阶段隐私过滤后由服务器去重合并,候选技能需在客户端验证集上得分提升才发布。在三个数据集和三个语言模型家族上,该方法比 SOTA 基线最高提升 22%,并在不共享原始客户端数据的前提下接近集中式进化效果。

  6. arXiv cs.CL16

    ESG-Kor:面向 ESG 信息抽取的韩语数据集及实用案例

    研究者构建了韩语数据集 ESG-Kor,从韩国企业可持续发展报告中抽取环境、社会与治理(ESG)信息,共含 118,946 句,并按 ESG 评估机构的客观规则人工标注。该数据集用多个韩语预训练语言模型验证分类性能,取得显著效果,并进一步将 ESG 分类模型扩展至中小企业文档,展示基于 ESG 关键议题的信息抽取与深度分析等实用场景。

  7. arXiv cs.CL22

    基于 LLM 的网络安全推文分类弱标注:一种教师-学生框架

    研究提出一种 Teacher-Student 弱监督框架,用选定的 LLM 作为 Teacher 为未标注的网络安全推文生成弱标签,从而无需大规模人工标注即可训练网络安全专用 PLM。实验显示,仅用 LLM 生成标签训练的 PLM 在所有评估架构上 F1 均超过 0.92,与全人工监督模型的差距在 3 个百分点以内。

  8. arXiv cs.AI23

    Mine-Sample-Render:生成模型的测试时多样性对齐方法

    研究者提出 MINE-SAMPLE-RENDER(MSR),一种测试时方法,将多样性外化为从真实语料挖掘可解释类别模式并据此采样属性配置,生成模型仅作为条件渲染器。在天气预报生成、用户模拟、网页设计、文生图和智能体生成 3D 资产任务上,MSR 提升了输出与语料分布的对齐度及生成多样性。

  9. arXiv cs.CL18

    基于 Transformer 的孟加拉语语音早期识别系统实现句子自动补全

    一项研究提出集成系统,通过孟加拉语语音和文本分析检测痴呆症迹象,并在对话中提供句子自动补全支持。研究提取与认知衰退相关的声学特征,采用基于 Transformer 的模型将语音转写为文本,评估多种 ML 和 DL 模型,其中 LSTM 架构在建模语音和语言上下文模式方面表现突出。句子补全任务采用带注意力机制的 Bi-LSTM 序列学习模型,逐步补全对话中部分表达的孟加拉语句子。

  10. arXiv cs.AI32

    Kolab:面向长周期工作流的人机协作基准测试

    研究者推出 Kolab,一个包含 50 位来自 40 种职业的专业人士、115+ 小时屏幕录制的人机协作数据集,用于评测长周期真实工作流中的协作表现。该基准要求智能体预测专家会采纳、修改还是拒绝其贡献,并判断协作满意度与产出质量。结果显示,前沿模型(无论是否具备智能体能力)都会高估与专家的协作效果,且难以区分高质量与低质量协作,更长的上下文并未稳定改善预测。

  11. arXiv cs.CL27

    RoPERelay:稀疏 KV 缓存选择后的位置几何优化

    针对稀疏 KV 缓存中保留 token 仍沿用完整历史坐标、导致 RoPE 下被淘汰 token 的位置空隙持续干扰 query-key 匹配的问题,研究者提出 RoPERelay,为缓存键分配紧凑且保序的 RoPE 坐标,通过逆旋转与再旋转重定位键相位,并同步当前 query 与后续生成,无需重新选择、历史重预填充或额外缓存预算。

  12. arXiv cs.AI24

    RSHD:用失败回放恢复 GRPO 监督信号

    针对 GRPO 在整组 rollout 全部失败时既无成功样例也无非零组内优势、学不到东西的问题,研究者提出 Replay-Selected Hindsight Distillation(RSHD),让策略在不看参考答案的情况下为每次失败写纠正笔记并带笔记重解,仅当回放成功率高于原组且笔记未泄露答案时才采纳,并将采纳的回放蒸馏回纯提示词策略。

  13. arXiv cs.AI34

    MSP:无需配对跨模态数据训练多模态 LLM 的模态自博弈框架

    研究者提出 Modality Self-Play(MSP),一种基于代理中介模态组合的多模态基础模型训练框架,无需真实配对跨模态数据即可实现零样本模态组合。MSP 利用锚定模态的代理文本描述作为语义桥梁,让模型在推理时整合并推理多种模态,在多个多模态基准上达到 SOTA 或具竞争力表现。消融实验显示,学习到的桥梁改善对齐,代理描述支持有效的跨模态组合。