跳到正文
10月16日周五
  1. arXiv cs.AI22

    基于概念的模型中部分干预的有害性与良性泄漏研究

    研究发现,概念监督不完整会加剧概念干预对下游预测的损害,且现有充分性与局部化准则不足以保证干预改善性能。为此提出单调干预目标,直接惩罚部分干预轨迹上的任务损失上升,与端点干预训练结合后可显著降低部分干预损害的发生率与幅度,同时保持概念与任务预测性能。

  2. arXiv cs.AI31

    语言嵌入在推荐系统中可能泄露超出预期的物品信息

    研究发现,当攻击者掌握外部来源的辅助物品文本时,一个简单的余弦相似度攻击即可在多个语言模型和候选集设置下以高平均倒数排名恢复物品身份,两个真实数据集上均验证了该泄露。物品泄露还可从稀疏评分进一步传播为用户重识别,而混淆描述虽能缓解泄露,却存在明显的泄露-效用权衡。

  3. arXiv cs.CL24

    Archer:为扩散语言模型高效回滚自适应复用缓存隐藏状态

    研究者提出免训练缓存方法 Archer,通过在每个更新步重算可变回复、仅在有限回复状态邻域内复用 prompt 的 K/V,实现扩散语言模型的高效回滚。在代码生成基准上,Archer 取得 33.63% 的最佳平均性能与 2.57x 平均加速,单基准最高 2.95x;在非代码基准上相对 LLaDA-Confidence 最高加速 4.33x 并提升平均准确率。代码已公开。

  4. arXiv cs.AI19

    SemDraft:从成对服装样板中学习搜索可执行制版程序

    SemDraft 是首个从成对前后服装样板中学习搜索可执行制版程序的框架,无需记录编辑步骤。它通过有界搜索恢复编辑动作程序,并需通过从头重编译、动作对有序或可互换分类、独立重放三重校验才获认证。在两组各 80 个顺序敏感案例上,学习排序器在 1000 次搜索内分别认证 63 和 64 个案例,非学习排序器最多为 53 和 52 个。

  5. arXiv cs.CL27

    X-Alpha:具备记忆驱动自进化能力的 AI 量化研究员

    X-Alpha 是一个将持久研究记忆与假设到代码的持续发现相结合的 AI 量化研究员,通过 Report-to-Memory Abstraction(RMA)把金融报告转化为可执行的研究路径,并借助记忆驱动路由重定向探索。它在中国大陆、美国和中国香港的五个股票指数上评估,以 CSI300 为核心的实验显示其因子质量与信号多样性优于基线,并在多个市场和预测周期上取得一致的生成级增益。

  6. arXiv cs.CL23

    TACO:面向 RLVR 的尾部感知信用校准方法

    针对 GRPO 类方法中"正信用污染"问题,研究者提出尾部感知信用校准方法 TACO,让策略自身作为参考,评估每个采样 token 相对策略局部预期的稀有度以计算尾部风险分数,并据此软性降低高尾部风险 token 的正信用、同时保留非零权重。在四个 LLM 和八个推理基准上,TACO 持续优于 GRPO 类基线,并提升训练稳定性,支持长程 RL 的持续性能增益。

  7. arXiv cs.CL22

    从信号到迁移:大语言模型中基于探针的不确定性估计的因子化研究

    一项因子化研究在匹配条件下系统比较了基于探针的不确定性估计方法,发现原始隐藏状态和注意力特征在域内难以被超越,但在分布偏移下结构化和压缩特征更稳健。提示词与标签构建方式显著影响探针行为,据此构建的基准预训练探针在开放式事实生成上保留了有效判别信号,性能可与有限标签目标域探针及采样估计器竞争。

  8. arXiv cs.CL31

    面向持续分布偏移的 AI 文本检测测试时自适应方法

    研究提出一种测试时自适应(TTA)方法,利用推理时无标注样本的同质性来应对 AI 文本检测中的持续分布偏移,包括对抗性人类化、新 LLM 发布和人类写作的时间漂移。实验显示,SOTA 监督检测器在分布偏移下系统性失效,而结合半监督学习的 TTA 基本保持稳健;例如商业模型 Pangram 仅检出 27.0% 的对抗性 AI 生成文本,该 TTA 方法则达 93.3%。

  9. arXiv cs.AI12

    成对差异学习(PDL)分类中的不确定性量化

    研究者为分类任务提出成对差异学习(PDL)的版本及配套元学习技术,并解决其预测的不确定性量化问题。基于将总不确定性分解为偶然与认知成分的近期工作,提出多种将相应度量扩展到 PDL 场景的方法,具体取决于基学习器如何及在多大程度上表示不确定性。大规模实证研究同时分析了该 PDL 分类器的预测准确率与不确定性感知能力。

  10. arXiv cs.CL31

    LLM 能推断文化背景却难以据此调整回答:CAPRI 数据集揭示文化适应鸿沟

    研究者提出 CAPRI 数据集,用不同文化线索强度的对话测试 LLM 能否按用户文化背景使用当地计量单位。实验显示,SOTA 模型能推断文化背景并回忆相关惯例,却往往不据此调整回答,除非被明确要求按顺序执行任务。模型对时间和数量表达的适应随文化线索累积而增强,但其先验并非文化中立,有时与模型来源国一致。

  11. arXiv cs.CL22

    无需标准答案的推理:自动形式化的代理评判理论

    研究提出一种无参考的代理评判框架,将自动形式化的正确性拆分为接地、陈述忠实性、覆盖度和推理四项,并给出代理评判误判率如何影响迭代改进的理论边界。作者用八个代理在 Lean 4 的 ProofNet、miniF2F 和 Isabelle/HOL 的 e-SNLI、ProntoQA 上验证,单代理移除下所有预先写出的预测均未被推翻。

  12. arXiv cs.CL26

    文本就够了?文本作为语音 LLM 的通用信息瓶颈

    研究者提出 Convex Gate(C-Gate),将语音每一帧表示为冻结 token 嵌入的凸组合,用 Whisper-large-v3 编码器加部分适配的 Qwen2.5-7B-Instruct 解码器联合训练语音识别、情感识别与口语推理,单一共享解码器即可完成转录与情感识别。适配后解码器在纯文本基准上指令跟随与 MMLU 下降,GSM8K 与 HellaSwag 持平或超过原模型。

  13. arXiv cs.CL29

    众包能挺过 LLM 时代吗?一项关于人类数据收集的社区调查

    一项针对 155 名 NLP 及相关领域研究者的调查显示,44% 的受访者在自己的众包数据中观察到 LLM 使用痕迹,其中 93% 早有预期,但半数不知该采取何种防范措施。最常见的检测手段是独特的文本风格模式和异常快速的完成时间。调查表明研究社区已意识到该问题并采取措施,但现有努力仍不足以完全应对。

  14. arXiv cs.CL27

    LLMSurgeon:诊断大语言模型的预训练数据混合

    研究者提出 LLMSurgeon 框架,将数据混合手术(DMS)形式化为逆问题,仅凭目标 LLM 的生成文本即可在预设分类体系下估计其预训练语料的领域级分布。该方法不直接聚合分类器输出,而是估计校准的软混淆矩阵并求解约束逆问题,以纠正系统性领域混淆、还原潜在混合先验。

  15. arXiv cs.CL22

    大语言模型在情感对话语境中的情感一致性分析

    研究将 LLM 生成的文本作为查询回传给同一模型,用三种强度递增的虚假预设查询,在极端与中等情感两个维度上评估 Claude-3.5-haiku、GPT4o-mini 和 Mistral-7B 的自我一致性。结果显示三个模型表现均低于平均水平,易受查询中错误信念影响,中等情感内容下尤为明显;基于注意力分数的分析还显示模型优先级从评估转向生成。

  16. arXiv cs.AI31

    ELLSA 2:语音、表情与手势的全双工交互模型

    ELLSA 2 是一个端到端全双工对话模型,可同时优化语音交互与流式手势-表情生成,在模型不说话时也能持续生成非语言动作。它采用自回归分块合成器,结合预训练声学特征与对话骨干网络、语音合成器中独立的聆听和说话隐藏状态,并通过上下文语义调用与模板引导区分语义手势的触发与实现。

共 2000 篇论文