跳到正文
10月12日周一
  1. arXiv cs.CL26

    PACT:面向多轮工具调用智能体的特权轨迹协同训练框架

    研究者提出 PACT,一种面向多轮工具调用智能体的特权轨迹协同训练框架,将专家轨迹仅用作训练时的优化信号而非 rollout 时的提示。PACT 保持 rollout 仅依赖提示词,通过轨迹条件 RL 代理和组件感知 SFT 损失两个互补信号引导优化,并引入 prompt-only anchoring 减少对训练期轨迹上下文的过度依赖。

  2. arXiv cs.CL24

    多语言预训练中翻译能力如何发展:先复制,后翻译

    研究者预训练了一个覆盖九种语言的 1.7B 多语言模型,以词级翻译为测试任务追踪翻译能力的早期发展轨迹。结果显示,模型在快速习得基础语言能力的同时进行 token 级复制,翻译则分两阶段发展:初期由复制和表层相似性主导,后期才形成更具泛化性的翻译机制并细化复制。该工作获 EMNLP Main 2026 接收,代码、模型 checkpoint 和数据集均已公开。

  3. arXiv cs.CL22

    翻译腔的方言如何塑造语言模型学习

    研究用24种类型学和资源差异悬殊的源语言翻译出的英文文本训练小型英语语言模型,发现源语言会明显影响模型行为:通用困惑度更多由翻译语料的词汇多样性驱动,而语法表现若训练数据充足则与源语言和英语的类型学相似度强相关,翻译质量也是语言建模性能的强预测因子。

  4. arXiv cs.CL29

    大语言模型时代的生成式命名实体识别评估

    一项被 EMNLP 2026 Findings 接收的研究系统评估了开源 LLM 在扁平与嵌套 NER 任务上的表现。实验覆盖 8 个不同规模 LLM 和 4 个标准 NER 数据集,发现采用参数高效微调与 inline bracketed 或 XML 等结构化格式后,开源 LLM 性能可媲美传统编码器模型,并超越使用上下文学习技术的解码器 LLM。

  5. arXiv cs.CL29

    LLaMA/Qwen/Mistral 如何用潜在充分性信号实现动态上下文截断

    研究者提出"动态上下文截断"方法,让 LLM 在获取足够任务相关信息后自行终止处理。该方法通过轻量分类器检测特定注意力头编码的"充分性信号",在六个 QA 数据集(最长 40K tokens)和 LLaMA/Qwen/Mistral 三个模型族(1B-70B)上实现平均 1.33x token 缩减,同时准确率提升 3.4%。研究还发现,小模型需探测充分性,大模型则可通过提示词展现内在自评估能力。

  6. arXiv cs.CL24

    用人工智能大规模研究漫画:PAGE 框架与美漫日漫三项研究

    研究者提出 PAGE 框架,用 AI 将每页漫画扫描解析为分镜、文本和书目记录,并以视觉语言模型按书面编码手册逐页标注,再用人工标注校准。该框架在 3,929 本美国漫画(1938–1956)和 87 卷日本漫画上完成三项研究,分别考察政治权力呈现、页面视觉形式与艺术家笔迹识别、以及两种漫画传统中的说话者归属。

  7. arXiv cs.CL15

    UkrMeme:乌克兰语模因中的多模态可解释说服检测

    研究团队构建了 UkrMeme 数据集,包含 200 条乌克兰战时模因并标注说服技巧,同时发布 PTM-UA——Propaganda 950 基准子集的乌克兰语翻译版,保留原始图像内容仅翻译文本。研究在零样本提示下用视觉语言模型(VLM)评测图像、文本和多模态输入,采用分层 F1 指标,并对比 LRP 与模型生成 token 归因两种解释方法所强调的证据语义类别。

  8. arXiv cs.CL30

    多智能体 LLM 系统实现专用神经网络模型自动调优

    一个由分析师、编码员和记录员三种角色组成的多智能体 LLM 框架,可在不改动整体网络结构的前提下,仅针对指定组件生成代码,实现跨模型自动调优。在 MNIST 和 Digits 脉冲分类任务上,准确率分别提升 13 和 6 个百分点;在 GNLSE 任务中相对解析单孤子解的误差降低约 2491 倍,KS 问题质量漂移下降 14 倍。

  9. arXiv cs.CL18

    金融语音需要持续学习正则化吗?EWC 与 mini-KFAC 在财报电话会议 ASR 上的研究

    研究将 Whisper-small 从通用语音语料适配到 Earnings22 基准,发现所有评估方法在同域金融语音留出集上均出现性能提升而非灾难性遗忘,任务互补性使正则化反而有害。当确需正则化时,逐层 mini-KFAC 近似比标准对角 EWC 取得更低 WER 和更稳定的优化。结果表明应用持续学习约束前应先评估任务互补性,必要时优先选择 mini-KFAC EWC。

  10. arXiv cs.CL23

    S³R:通过自稀疏推测解码实现快速且忠实的 RL rollout

    针对长上下文 RLVR 中注意力占自回归解码内核时间 72–76% 的问题,研究者提出自稀疏推测 rollout(S³R),用稀疏注意力提议 token、再经全注意力验证与精确推测采样生成响应,使响应组仍服从稠密策略分布。在 Qwen3 上,S³R 将长上下文数学推理的端到端训练吞吐提升至自回归 rollout 的 1.39×–1.35×,任务表现相当。

  11. arXiv cs.CL20

    Kairos:面向全模态的字节级基础模型

    Kairos 提出一种字节级基础模型架构,将双向门控 DeltaNet 线性注意力与滑动窗口注意力(LiZAttention2)、块级 Attention-Residual 聚合、稀疏 MoE 前馈层和多尺度字节级编解码器结合,在文本、图像、音频、视频、激光雷达和控制流共享的单一字节空间上以均匀噪声去噪目标训练。

  12. arXiv cs.CL20

    任务上下文如何塑造语言模型内部组件的角色

    研究用相同图事实对比不同任务下语言模型的固定组件,发现任务变化会重新分配五个开源权重模型(覆盖四个家族、1.5-14B 参数)中注意力头的影响力。在 Gemma-2-9B 和 Qwen3-14B 中,一次激活编辑可改变早期内部激活向量,在指令不变的情况下切换模型读取的事实。基于此构建的线性响应图在对应条件下将预测均方误差较两图平均分别降低 53.6%(Gemma)和 5.0%(Qwen)。

  13. arXiv cs.CL22

    通过结构驱动知识图谱实现法律推理的可验证检索

    针对德国法律法典,研究用结构驱动解析构建知识图谱来导航和检索源文档,并对比多种 KG 引导的分块与检索策略对引用准确率的影响。该方法旨在解决 RAG 在源文档数量和规模增大时检索性能下降、忽略关键上下文的问题,从而提升法律等可靠性关键场景中生成过程的可验证性。

  14. arXiv cs.CL31

    用潜在内在反馈训练用户模拟器

    研究者提出"带内在反馈的用户模拟器",即为模型配备潜在评估状态——每轮对话中从第一人称用户视角生成内部想法、反应和标量评分。基于真实用户与助手的交互日志训练后,该模拟器在模拟真实性和批判行为上优于提示词基线,并提供现有微调模拟器缺失的轮级评估,其评估与人类判断的相关性也更高。