跳到正文
10月8日周四
  1. arXiv cs.CL24

    EncBank:在 LLM 查询间复用编码器,实现紧凑可复用记忆

    EncBank 将预训练 LLM 的底层作为可复用文档编码器,紧凑存储其输出供适配后的上层读取器使用,并共享一个自蒸馏后缀适配器,无需针对量化单独重训练。在三种 Qwen 骨干、五个基准套件上,4-bit 存储的基准聚合分数与原生精度相差不超过 1 分;固定 Qwen3-8B 工作负载下仅占原生精度持久 GPU 存储的 28.1%。

  2. arXiv cs.CL27

    EASE:用熵自适应分布塑形规避 AI 生成文本检测器

    研究者提出 EASE,一个无需训练、不依赖特定检测器的 AI 生成文本规避框架,直接根据源 LLM 下一 token 分布的预测熵自适应调整 logit 扰动与采样温度,无需检测器反馈或模型微调。在三个源 LLM 和多个检测器上的实验显示检测性能一致下降,文本质量与推理开销的损失可忽略。

  3. arXiv cs.CL26

    LatentGRM:通过语义保持压缩实现高效生成式奖励建模

    研究者提出 LatentGRM,一种基于语义分块、压缩与重建的潜在评估框架,通过学习紧凑连续轨迹实现自主成对判断,无需生成文本评估。在相同训练数据和骨干下,LatentGRM 在 4B 和 8B 规模上取得与显式 SFT 评判模型相当的偏好准确率;LatentGRM-8B 在四个基准领域将评估轨迹压缩 8.9–9.2 倍,vote@5 下评判推理总时间减少 6.1–7.0 倍。

  4. arXiv cs.AI25

    神经符号 AI 的规则语言综述:Datalog、答案集与概率逻辑程序

    一篇综述系统梳理了神经符号 AI 中作为符号组件的规则语言,涵盖 Datalog、答案集程序与概率逻辑程序,并沿语义、表达力、神经集成和求值机制四个维度展开分析。作者考察了 50 多个近期系统与应用,比较了数据库与编程语言、机器学习、视觉和机器人四个研究领域的形式化使用情况,并给出将应用场景映射到所需特性的决策矩阵,最后列出开放问题。

  5. arXiv cs.AI31

    如何理解并缓解 LLM 智能体的推理时记忆过度依赖:MEMTRIM 框架

    研究发现,LLM 智能体的 agentic memory 即使存储正确、检索得当,在查询与记忆仅部分重叠时仍会扭曲推理,造成"记忆过度依赖"。为此提出的 MEMTRIM 在写入时索引记忆证据、读取时控制复用,去除重复或冲突证据并保留有用信息,无需重训练,适用于基于嵌入和结构化记忆。实验显示 MEMTRIM 在多种模型和记忆设置下降低了记忆过度依赖,同时保留有用记忆的收益。

  6. arXiv cs.AI22

    LLM 内部特征被模型真正使用了吗?区分引导与机制

    研究提出一套实证契约,在自然输入观测值上评估特征,通过安装、移除与下游救援测试区分特征是否被模型真正使用。对三类表征的测试显示,已发表的未知实体 latent 虽能强烈引导知识弃答,但将观测值安装到匹配提示中仅能迁移自然已知—未知弃答对比的一小部分。Gemma 与 Llama 的稠密已知—未知方向在安装与移除间呈现相反不对称性,主语—动词一致性特征集能否复现行为取决于其值写入模型的方式。

  7. arXiv cs.CL37

    研究:On-Policy Distillation 教模型新技能而非新知识

    一项受控合成框架研究显示,reverse-KL 的 on-policy distillation(OPD)能跨未见推理结构稳定迁移组合技能,但几乎不迁移事实知识。在来自三个家族的四个模型上,将 reverse KL 换成 forward KL 可恢复事实迁移,而学生 rollout 则专门提升多步推理执行。近期事实问答与竞赛数学实验呈现类似不对称:推理显著提升,参数化知识未扩展。

  8. arXiv cs.CL22

    LLM 在否定语境下如何改变预测?

    研究评估了近期开源与闭源 LLM 的否定处理能力,发现 37-71% 的情况下模型在否定后仍重复原答案(如问"西班牙非首都"仍答"Madrid")。机制分析显示,专门的注意力头和 MLP 神经元通过抑制原答案检索、同时提升同类候选答案来实现否定,这与人类利用原答案信息确定排除对象的处理方式不同,也是否定失败的关键原因。

  9. arXiv cs.CL24

    OnlineQAT:面向超低比特大语言模型的在线策略蒸馏

    OnlineQAT 是一个两阶段框架,先通过分块 QAT 获得可用的低比特初始化,再对学生模型自生成回答做在线策略蒸馏(OPD),由冻结的全精度教师模型在每个访问前缀上提供采样的反向 KL 训练信号。在 Qwen3-1.7B 上,该方法在 W3A16 取得 57.28、W2A16 取得 32.52,平均成绩优于所对比的量化方法,分别比 ReasoningQAT 高出 2.90 和 0.44 分。

  10. Hacker News36

    AI 可能终结现有公钥加密体系

    AI 模型正加速数学与密码分析进展:Claude Fable 证伪三维 Jacobian 猜想,OpenAI 称 Astra 解决或推进 10 道难题,一款未发布 OpenAI 模型解出 Navier-Stokes 千禧年难题;Anthropic 研究显示 Claude Mythos Preview 发现针对两种密码算法的新攻击,其中一种是被 NIST 评估的后量子技术。

  11. 科技媒体 RSS62

    新论文指出 Lean 验证通过不能保证 AI 翻译的原始数学证明正确

    一篇新论文指出,AI 把数学证明翻译成 Lean 后通过 Lean 检查,并不能说明原始自然语言证明正确。论文展示了聊天机器人通过悄悄修正错误,把一个错误证明变成有效的 Lean 证明;并论证判断陈述能否被忠实翻译可证明地难于停机问题,因此任何 AI 翻译器都无法总是做到。

  12. arXiv cs.AI24

    MOTIVE:面向视觉语言模型的多视角自验证与可靠性引导重思考框架

    针对视觉语言模型易生成看似合理却错误答案的问题,研究者提出 MOTIVE 多视角自验证框架,通过正确性对齐的多视角验证学习得到可靠性分数,在推理时决定直接采纳还是触发历史引导的重思考。实验显示,MOTIVE 在多种多模态基准和 VLM 主干上持续优于强自验证与自纠正基线,并减少不必要的推理轮次,无需外部评判模型。