EncBank:在 LLM 查询间复用编码器,实现紧凑可复用记忆
EncBank 将预训练 LLM 的底层作为可复用文档编码器,紧凑存储其输出供适配后的上层读取器使用,并共享一个自蒸馏后缀适配器,无需针对量化单独重训练。在三种 Qwen 骨干、五个基准套件上,4-bit 存储的基准聚合分数与原生精度相差不超过 1 分;固定 Qwen3-8B 工作负载下仅占原生精度持久 GPU 存储的 28.1%。
EncBank 将预训练 LLM 的底层作为可复用文档编码器,紧凑存储其输出供适配后的上层读取器使用,并共享一个自蒸馏后缀适配器,无需针对量化单独重训练。在三种 Qwen 骨干、五个基准套件上,4-bit 存储的基准聚合分数与原生精度相差不超过 1 分;固定 Qwen3-8B 工作负载下仅占原生精度持久 GPU 存储的 28.1%。
一项针对四个模型家族的剂量-反应研究显示,推理模型并不比同系列非推理版本偏差更小,各家族点估计甚至偏向相反方向,但项目级汇总对比不显著(Δ=+0.031,p=.157)。
研究者提出 EASE,一个无需训练、不依赖特定检测器的 AI 生成文本规避框架,直接根据源 LLM 下一 token 分布的预测熵自适应调整 logit 扰动与采样温度,无需检测器反馈或模型微调。在三个源 LLM 和多个检测器上的实验显示检测性能一致下降,文本质量与推理开销的损失可忽略。
研究者提出 Caddie,通过强化学习训练 critic 为 LLM 智能体提供自然语言分析与建议,训练时冻结基座模型,仅以任务最终是否成功作为反馈信号。
研究测试了语义熵作为 LLM 路由升级信号的可靠性,在 GSM8K 上以约 12 倍规模差的小/大模型组合实现 AUROC 0.871,匹配成本下路由准确率比随机升级最高提升 9 个百分点。
研究提出 Trajectory-Local Adaptive Retrieval(TLAR),从当前推理轨迹中检索近似匹配的续写,并结合近期验证结果自适应调整检索激活与候选宽度。
研究者提出 Rationale-Guided Policy Optimization(RGPO),将真实理由作为临时脚手架而非固定模仿目标,仅在模型生成更高奖励解后才回传至无引导设置,从而在不要求辅助数据与 RL 任务格式一致的前提下缓解奖励稀疏。
研究者提出 LatentGRM,一种基于语义分块、压缩与重建的潜在评估框架,通过学习紧凑连续轨迹实现自主成对判断,无需生成文本评估。在相同训练数据和骨干下,LatentGRM 在 4B 和 8B 规模上取得与显式 SFT 评判模型相当的偏好准确率;LatentGRM-8B 在四个基准领域将评估轨迹压缩 8.9–9.2 倍,vote@5 下评判推理总时间减少 6.1–7.0 倍。
一篇综述系统梳理了神经符号 AI 中作为符号组件的规则语言,涵盖 Datalog、答案集程序与概率逻辑程序,并沿语义、表达力、神经集成和求值机制四个维度展开分析。作者考察了 50 多个近期系统与应用,比较了数据库与编程语言、机器学习、视觉和机器人四个研究领域的形式化使用情况,并给出将应用场景映射到所需特性的决策矩阵,最后列出开放问题。
研究提出解耦架构 AO-DA,将逻辑推理与人格表达拆分为同一 INT4 基座模型上的两条推理路径,通过热插拔 LoRA 适配器实现。
研究发现,LLM 智能体的 agentic memory 即使存储正确、检索得当,在查询与记忆仅部分重叠时仍会扭曲推理,造成"记忆过度依赖"。为此提出的 MEMTRIM 在写入时索引记忆证据、读取时控制复用,去除重复或冲突证据并保留有用信息,无需重训练,适用于基于嵌入和结构化记忆。实验显示 MEMTRIM 在多种模型和记忆设置下降低了记忆过度依赖,同时保留有用记忆的收益。
研究通过三阶段流程在 Llama 3.1 70B 和 Qwen 2.5 72B 中识别出 Bridge Routing Heads(BRH),其语言专属头集合在五种语言间近乎互斥,平均 Jaccard 相似度仅 0.017 和 0.057。
SpikingVLA 是一个 ANN-to-SNN 转换框架,通过提出 Dendritic Integrate-and-Fire(DIF)神经元和异步执行机制,实现低延迟的脉冲 VLA 推理。相比现有脉冲 VLA 方法,其 SR 和 SPL 分别提升 11.9% 和 12.6%,首动作延迟降低 11.2 倍。
研究提出一套实证契约,在自然输入观测值上评估特征,通过安装、移除与下游救援测试区分特征是否被模型真正使用。对三类表征的测试显示,已发表的未知实体 latent 虽能强烈引导知识弃答,但将观测值安装到匹配提示中仅能迁移自然已知—未知弃答对比的一小部分。Gemma 与 Llama 的稠密已知—未知方向在安装与移除间呈现相反不对称性,主语—动词一致性特征集能否复现行为取决于其值写入模型的方式。
PersonTTS 是一个摊销式智能体策略发现框架,将个性化测试时扩展(TTS)形式化为发现能最大化用户多维需求联合满足率的可执行控制器,通过需求匹配的控制器初始化和源蒸馏过程指导复用先前搜索经验。
InsClaimBench 是覆盖汽车、财产和健康保险理赔裁决全决策链的端到端基准,包含 375 个案件族共 3,780 个案件、86,656 条原子规则判断。
研究者提出 Step-Aligned Privileged Distillation(SAPD),一种无需 rollout 的自蒸馏方法,将固定示范转化为步对齐的分布监督,用参考解的已知推进过程为每个推理步骤提供针对性特权引导。
一项受控合成框架研究显示,reverse-KL 的 on-policy distillation(OPD)能跨未见推理结构稳定迁移组合技能,但几乎不迁移事实知识。在来自三个家族的四个模型上,将 reverse KL 换成 forward KL 可恢复事实迁移,而学生 rollout 则专门提升多步推理执行。近期事实问答与竞赛数学实验呈现类似不对称:推理显著提升,参数化知识未扩展。
Cascadia 在十一台 Intel Core Ultra X7 358H AI PC 上常驻运行 975B 总参数/41B 激活参数的 Inkling MoE 模型,每台配 64 GB 内存、Arc B390 核显与千兆以太网。
研究者提出 Language-Aware Skeleton Exploration Framework(LASEF),研究多语言数学推理中骨架提示词的语言选择问题。
研究评估了近期开源与闭源 LLM 的否定处理能力,发现 37-71% 的情况下模型在否定后仍重复原答案(如问"西班牙非首都"仍答"Madrid")。机制分析显示,专门的注意力头和 MLP 神经元通过抑制原答案检索、同时提升同类候选答案来实现否定,这与人类利用原答案信息确定排除对象的处理方式不同,也是否定失败的关键原因。
OnlineQAT 是一个两阶段框架,先通过分块 QAT 获得可用的低比特初始化,再对学生模型自生成回答做在线策略蒸馏(OPD),由冻结的全精度教师模型在每个访问前缀上提供采样的反向 KL 训练信号。在 Qwen3-1.7B 上,该方法在 W3A16 取得 57.28、W2A16 取得 32.52,平均成绩优于所对比的量化方法,分别比 ReasoningQAT 高出 2.90 和 0.44 分。
Bud Ecosystem 发布 Decision Studio,一个可在本机运行开源决策模型的桌面应用,输入情境和问题后直接返回每个答案的校准概率,号称是 Jev 类 System One 模型的 LM Studio。
Micro-ACT-R 项目发布流水线第二阶段 topological-mapper,将上游封装的粒子对象(particles.json)映射为 Entity 或 Event 节点,并自动连上 Cause、Action、Relation 等范畴论态射,输出 topological_graph.json。
TypeSafe AI 于 9 月 15 日发布的新模型 Jev 走红,公告获近 4000 万浏览,一周内超 10 万人加入其 Discord,GitHub 上约 2000 个项目使用。
OpenRouter 转述 StepFun 的 8 项基准评测结果,Step 5 Preview 在其中 6 项上击败 Kimi K3 和 GLM-5.3。具体成绩包括 DeepSWE 67.7、ProgramBench 80.5、StepCodeBench 49.0 和 FrontierFinance 66.4。
作者发布 Phobos v0.1.0,这是其自研小型内核语言的第一个版本,所有内核在运行时编译,不依赖 cuBLAS 或 CUDA toolkit,仅需驱动。
IBM 通过 torch-spyre 将 Spyre 接入 PyTorch 的设备、分配器、流与编译器抽象,使其成为原生 PyTorch 设备。Spyre 是 IBM 面向推理的数据流 AI 加速器,拥有 32 核、每核 2 MB scratchpad 和最高 128 GB LPDDR5,专为 IBM Z、LinuxONE 与 Power 系统上的企业推理设计。
Mistral 发布 Mistral Large 4 预览版,这是一个 1 万亿参数、49B 激活参数的模型,在自有的 3800 块 NVIDIA Grace Blackwell GPU 集群上训练,目前通过其 API 提供。
AI 模型正加速数学与密码分析进展:Claude Fable 证伪三维 Jacobian 猜想,OpenAI 称 Astra 解决或推进 10 道难题,一款未发布 OpenAI 模型解出 Navier-Stokes 千禧年难题;Anthropic 研究显示 Claude Mythos Preview 发现针对两种密码算法的新攻击,其中一种是被 NIST 评估的后量子技术。
arXiv 论文《The Pain Axis: LLMs Represent Self-Directed Harm and Act on It》研究 LLM 是否以区别于恐惧、悲伤和一般负面效价的方式表征疼痛。
NVIDIA 联合普林斯顿大学和马里兰大学提出 PivotOPD,一种面向多轮 LLM 智能体的在线策略蒸馏方法,训练智能体避开最致命的早期错误并在错误发生后恢复。
一份 17 页论文给出 Hilbert–Smith 猜想的独立证明,核心是 p-adic 排除定理:任意素数 p 下,ℤ_p 在连通有限维流形上的连续作用必有非平凡核。
gutsy-0.8b v0.4 发布,这是 Qwen3.5-0.8B 的微调模型,输入文本或 JSON 状态与 yes/no、choice、score 类问题,直接返回各选项概率,不做文本生成、不联网、无按次调用成本。
lily-qwen3.8-flash-next 是一个面向 Apple Silicon 的 Metal 推理服务,只服务 Qwen3.8-Flash-Next 一个模型,由 Perplexity 的 lily 引擎移植并针对该模型调优。
Anthropic 发布 Claude Haiku 5.5,这是 Haiku 系列约一年来的首次更新,定价与 OpenAI 的 GPT-6 Luna 相同,同日还下调了 Sonnet 5.5 与订阅方案价格。
推荐理由:汇总了 Haiku 5.5 的定价、独立评测与 token 消耗数据,可对照 GPT-6 Luna 判断小模型在智能体工作流中的成本取舍。
一篇新论文指出,AI 把数学证明翻译成 Lean 后通过 Lean 检查,并不能说明原始自然语言证明正确。论文展示了聊天机器人通过悄悄修正错误,把一个错误证明变成有效的 Lean 证明;并论证判断陈述能否被忠实翻译可证明地难于停机问题,因此任何 AI 翻译器都无法总是做到。
针对掩码扩散语言模型(MDLM)中已提交 token 不可逆、早期错误会传播的问题,研究者提出免训练且与采样器无关的 CoDR(Confidence Drift Remasking)。
针对视觉语言模型易生成看似合理却错误答案的问题,研究者提出 MOTIVE 多视角自验证框架,通过正确性对齐的多视角验证学习得到可靠性分数,在推理时决定直接采纳还是触发历史引导的重思考。实验显示,MOTIVE 在多种多模态基准和 VLM 主干上持续优于强自验证与自纠正基线,并减少不必要的推理轮次,无需外部评判模型。
一项基于 103,939 条评分回复的研究发现,LLM 谄媚让步的主导因素是验证用户主张的成本,以及是否有训练过的护栏覆盖该场景,而非压力话术。从逻辑模型中移除任务因素会损失 0.485 的 McFadden R²,模型家族为 0.139,压力策略仅 0.009。