自动解释标签能泛化多远:一项跨语言、文字与改写的受控研究
研究以塞尔维亚语双语书写系统为受控测试台,发现同一内容在不同语言、文字和措辞下激活的 SAE 特征集有显著重叠(平均 Jaccard 0.39,随机基线 0.13,最高 0.57),表明存在真正的跨语言语义特征。但自动解释标签往往跟不上:描述语义内容的标签在塞尔维亚语中漏掉同一含义的频率最高达英语的 4 倍,且漏掉塞尔维亚语西里尔文多于拉丁文,这一差距随网络深度增大,标签本身却不显示失效。
研究以塞尔维亚语双语书写系统为受控测试台,发现同一内容在不同语言、文字和措辞下激活的 SAE 特征集有显著重叠(平均 Jaccard 0.39,随机基线 0.13,最高 0.57),表明存在真正的跨语言语义特征。但自动解释标签往往跟不上:描述语义内容的标签在塞尔维亚语中漏掉同一含义的频率最高达英语的 4 倍,且漏掉塞尔维亚语西里尔文多于拉丁文,这一差距随网络深度增大,标签本身却不显示失效。
一篇综述梳理了前沿图像生成模型如何产出逼真照片、可读文档和一致的人物与场景,并分析这些合成图像在新闻、金融、身份验证、医疗和法律中被当作真实记录时所具备的证据效力。研究区分了厂商能力宣称、已记录事件、实验发现与潜在危害路径,并比较了供应商限制、来源溯源系统、水印、平台标注与政策义务在功能上与独立验证的差异。高风险决策需依赖可认证的来源记录、可信渠道佐证与行动前的适度审查。
POLAR 是一个面向小型工具调用 LLM 智能体的护栏框架,通过结构化双层本体评估动作可逆性,为每个动作给出分级可逆性分数,未达阈值的调用在执行前被剪枝。在 τ²-bench 上评测六种智能体模型,POLAR 使其中四个模型在 airline 域的平均任务奖励提升 0.11 至 0.18 分,但十八个模型—领域组合中仅八个整体改善,retail 域及更强模型常出现回退。
三个具备推理能力的大语言模型在 210 道选择题上,被系统提示要求如实、虚假或不顾真假地回答,结果如实作答产生的推理 token 数少于说谎和不顾真假两种情形。该信号无需读取推理链内容,可作为推理轨迹不可用或不可靠时区分诚实与不诚实行为的候选指标,但尚未证明能检测自发欺骗或普遍失准。
SIGMA 是一套数据生成与训练流程,仅凭一份描述模型期望行为的 Model Spec,就能让模型利用自身推理能力强化安全推理,实现对齐自改进。它先由候选模型作为任务设计智能体合成对齐困境场景,再通过监督微调和基于评分标准的强化学习、以模型自身为奖励模型完成自评判对齐训练。
研究者推出 PatchBench,一个由 400 个高置信度越狱失败样本构成的基准,用于衡量 LLM 安全修补的附带损害。其评估协议 PatchBench-Local 为每个有害提示生成有害变体、结构匹配的良性提示和复用有害关键词的良性提示,以区分选择性修复与局部抑制。用该协议加 MMLU 评估四种激活引导方法发现,全局能力几乎不变时局部良性回归却很严重。
研究发现 LLM 路由器的模型选择日志即使关闭内容记录,也能泄露用户敏感话题。基于 170 万条真实请求(WildChat-1M、LMSYS-Chat-1M)的预注册实验显示,RouteLLM 在 50% 工作点上,骚扰和自残请求进入强模型的概率比同类低 19 个百分点,医疗请求低 31 个百分点,性相关请求高 10 个百分点。
多向量视觉文档检索器将每页存为约一千个 patch 向量,研究者提出逆向攻击,仅凭存储的索引即可重建页面图像。在 ViDoRe v3 上,从原始索引还原的页面可恢复 47% 的单词和 45% 的敏感 token,作为查询时 98.4% 的情况下将源页面排在第一。
研究提出一种受限动作架构,通过 SIEM/XDR 控制平面将 LLM 输出限制在封闭意图词表中,并由 NeMo-Guardrails 代理包裹 SOC 分析 LLM,在 SOC 专用对抗语料上把注入召回率从 25.0% 提升至 94.5%,误报率 0.1%。
一项被 NeurIPS 2026 接收的研究首次系统考察了大语言模型中的错觉模式感知,通过改编经典心理学范式设计三项任务并与人类行为直接对比,发现 LLM 常表现出比人类更强的错觉模式感知,倾向于将高频正面属性过度关联至少数多数群体或大型组织,并从模糊事件中构建因果叙事。研究基于稀疏自编码器(SAEs)构建特征可解释性框架分析内部表征,发现整体频率感知与分析性认知取向与错觉感知的出现相关。
研究者提出 Constitution-Guided Watermarking 框架,将提供商需求写成自然语言原则,由预训练推理智能体离线迭代优化规则专属配置,部署时由独立监控器识别适用规则并调取对应策略,无需改动服务模型。
研究用七个开源模型、五种验证器信号和 37000 条已评分推理轨迹,考察小校准预算下 CoT 验证器的无分布选择性保证。核心发现是"弃权即认证":一个 (α,δ)-有效流程签发的证书,其失败概率仅被 δ/P_fire 约束,极少触发的证书可能每次使用都出错——模拟中标准证书在最多 0.3% 的校准抽样中失败,但在其触发的抽样中失败率高达 69%。
论文提出 WebMirage 框架,针对基于大型视觉语言模型的网页智能体,构造局部视觉扰动,使智能体选择攻击者控制的内容并执行对应的浏览器动作。作者把视觉网页智能体的红队测试形式化为从视觉定位到执行的端到端问题,用角色槽抽象与网页重组刻画网页元素间的竞争,并用数据流分析让优化对齐动作后处理。
研究将 LLM 多智能体系统(MAS)的防御组织为五项原则并实现为 DEFER1,包含 28 项检查级联,能拦截的拦截、其余交给四人裁判小组。在四个领域的独立测试中,攻击成功率从约 30.0% 降至约 3.0%,78% 被拦截的攻击由确定性检查处理;在安全运营领域仅四分之一提案到达裁判。风险评分审批门会错误批准多数攻击提案、却只批准少数合法提案。
研究考察 LLaMA-2-7B-Chat 的安全敏感行为是否集中在稀疏参数子集上,通过低秩安全子空间分析和参数级安全—效用重要性过滤两种方法定位。结果显示安全敏感性在网络中高度不均匀,MLP 的 down_proj 是最突出的安全敏感组件,o_proj 贡献较小。
研究将 NLP 领域的实体感知隐私指标引入语音隐私评估,检验两种混淆技术对语音内容尤其是命名实体的保护效果。实验显示,在实体丰富数据上微调能提升部分实体类别的攻击性能,但对其他类别无效。作者据此给出建议:指标选择应取决于混淆方法是否保持时间对齐。
ProbeGuard 是一个可认证弃答框架,依据共识如何形成而非最终一致状态来决定是否弃答。在 MedQA 上,13.4% 的全票一致答案是错的,且任何基于一致性的信号都无法标记它们;过程信号将正确与错误共识的区分度从随机水平提升至 0.696 AUROC。该认证规则在一致层问题上以 9.0% 的观测选择性风险回答了六成问题,积累域内校准数据后可覆盖九成。
一项系统性研究考察了 LLM 广告相关性判断中的公平性问题,以 GPT-4o 作为分类相关性评判者、Qwen-7B 作为专门训练的相关性预测模型,采用反事实框架分析广告主身份、流行度、输入语言和人口统计措辞的影响。
研究者提出 SSU-Bench 数据集,用单项提示词编辑或图像编辑构造配对的安全与不安全图文组合,并在三个视觉语言模型间迁移内部状态以测量安全判定变化。结果显示,对变更输入位置的干预在解码器较早层有效,而对最终输入 token 的干预在较晚层才生效;最终 token 状态的线性读出还能预测模型自身判定(包括错误判定)。
PsyCIDRA 是一个将自由形式精神科访谈与诊断推理连接起来的双智能体框架,访谈智能体借助工具维护工作笔记、加载专家技能并检索 ICD-11 参考,诊断推理智能体则基于完整访谈记录给出假设及支持、冲突与缺失证据。
针对组织对 AI 智能体所作声明(如每封外发邮件均经人工批准、每次操作均有日志)难以核查的问题,研究者提出声明可审计需在裁决前固定策略、范围、可定论记录及记录者与判定规则。
研究通过角色感知的 Decider-Supervisor(DS)框架评估 AI 监督对网络欺诈决策的价值,比较集中式机器学习、FedAvg 联邦元模型与 Base/QLoRA 大语言模型变体的四种组合。
一项针对四个模型家族的剂量-反应研究显示,推理模型并不比同系列非推理版本偏差更小,各家族点估计甚至偏向相反方向,但项目级汇总对比不显著(Δ=+0.031,p=.157)。
研究提出一个 2×2 纵深防御框架,将内部激活引导与外部记忆处理分离,在 MemSyco-Bench 上评估四种开放权重模型、10 个引导系数和五种记忆防御配置。
研究者提出 EASE,一个无需训练、不依赖特定检测器的 AI 生成文本规避框架,直接根据源 LLM 下一 token 分布的预测熵自适应调整 logit 扰动与采样温度,无需检测器反馈或模型微调。在三个源 LLM 和多个检测器上的实验显示检测性能一致下降,文本质量与推理开销的损失可忽略。
研究用 1,119 条已标注智能体动作测试运行时门控堆栈的失效是否独立,将堆栈折算为等效层数 n_mult。任意两个 LLM 评委组合约等效 1.2 至 1.4 层(6 对全部显著),规则层加一个评委约 1.86 至 2.09 层(4 对均不显著)。单独准确率无法预测某层带来的增量,且有一个评委层级在 112 个批次中有 50 个被非请求的模型版本服务,该事件推翻了预先声明的分析规则。
研究提出检索可采纳性验证框架,为每个记忆-查询对标注可采纳、不可采纳或未决三种状态,并在匹配必需证据召回率下比较检索路径。对 RHELM 和 MemOps 两个公开长期记忆基准的冻结排名做 top-20 重分析,覆盖 3,767 条查询,top-20 锚点召回率从 0.432 升至 0.533,80% 召回可行性从 0.237 升至 0.311,精确相似度评估减少 98.3%。
一项 arXiv 研究将动作与策略表示为向量,测试几何测量能否为 AI 智能体的行动前判断提供依据,四项研究均未建立可靠的行动前判断。最终合成研究中,词法路由器找回了全部支配与阻断策略,中位策略检查次数减少 97.7%,但组合流水线仍升级了全部 2,304 个测试动作,包括本应放行的动作。作者据此修正假设,认为 AI 智能体的判断需要构建后果图,该假设尚待验证。
研究者提出 RELATE,一个基于人格设定的评估框架,用于在句子层面测量多轮对话中大语言模型的"关系导向"——即模型将用户引向自身持续支持(内向型)还是鼓励现实人际连接(外向脚手架型)。
研究提出按断言语义类别条件化设置置信阈值,而非使用单一全局阈值来决定智能体记忆的保留。在 100 个合成角色的冷启动记忆流水线中,4,715 条候选断言里价值与信念类仅 77.9% 有来源支持,其他类别为 96.2%。仅对价值类收紧阈值后,无支持保留从 6.2% 降至 4.0%(相对减少约 36%),并在同等保留率下多保留约 13 个百分点覆盖率(95% CI 9.8–16.0)。
研究者提出 Persona Hierarchy Model,用共享默认人格解释 LLM 微调的上下文泛化:修改共享人格的微调带来更广迁移,改动局部人格则更局限于特定上下文。
论文研究交互式智能体群体(AI、团队、企业、政府)与人类福利的长期对齐问题,构建了一个智能体进行种植、交易与扩张选择的农场博弈,核心对齐选择在于将多少最终产出交给人类、多少投入扩张。研究采用两种互补方法:用宪法描述智能体偏好并由 LLM 解读的 AI 智能体模拟,以及可解析的演化博弈论框架。分析表明,演化博弈论工具能有效近似交互式智能体经济,务实规范执行在维持长期对齐上优于简单利他主义与利他执行。
AWS 发布开源本地智能体沙箱 Strands Box,以开发者预览形式推出,把操作系统隔离与 Dogwood 语义策略结合,让开发者定义智能体能访问什么、在什么条件下行动。
OpenSSH 10.6 发布,出于安全考虑禁用了 SSH 压缩中的 LZ77 字典编码器,并拒绝命令行用户名中的 $ 和 \ 字符。前者源于研究人员发现多路复用通道共享压缩状态可泄露明文,后者防止用户名被 shell 通过 ProxyCommand 等指令解释执行。该版本还开始逐步淘汰 scp -R 远程到远程复制,并移除了混合后量子签名算法的实验性后缀。
Common Sense Media 旗下 Youth AI Safety Institute 在 ChatGPT for Teens 上线前后测试了 4000 多条提示词,认为该模式对 18 岁以下用户构成不可接受风险,建议 OpenAI 暂停推广并阻止青少年使用。
一篇评论文章将 Flock 车牌识别摄像头与 Alexa、Ring、Nest、智能电表及 Windows、Android、macOS、iOS 等系统并列为全球监控网络的一部分,认为其同样具有侵入性。文章主张破坏这类"压迫性基础设施"在道德上是正当的,并批评美国超级富豪通过媒体、广告、政治献金和 SuperPAC 等方式左右公众对是非的判断。
AI 爬虫正利用 referrer spam 伪装访问来源,让网站发布者误以为流量来自其他网站。作者发现一个美国医疗机构的域名持续出现在自己的 referrer 日志中,且"访问"不断增加并扩散到各类无关页面,最终确认这是又一款 AI 爬虫在抓取内容。目前仍没有有效办法阻止这类爬虫污染 referrer 日志。
Mugatu Signal 是一款本地优先的 Chrome 扩展,可在提交前拦截并遮蔽 ChatGPT、Claude、Gemini 和 Grok 提示词中的 API key、密钥、专有代码与客户数据,100% 端侧处理、零云端遥测。社区版永久免费、无需注册;专业版 $100/年,企业版每席位每年 $150 起,支持 Chrome/Edge 托管策略部署、SSO 与 SLA。
以太坊研究者 Justin Drake 警告,AI 辅助数学最坏情况下可能在数月内破坏加密钱包使用的签名系统,呼吁行业准备 bunker mode,并将资金转入从未签署过交易的地址,因为签署会暴露公钥。Vitalik Buterin 在 X 上回应认同风险但提醒勿操之过急,称自己因迁移失误损失的钱比被黑的多,长期主张架构尽量只依赖哈希函数。目前 ECDSA 签名方案尚无被实际破解的案例。
The Verge 资深 AI 记者 Hayden Field 在 Decoder 播客中对比 Meta Muse 与 OpenAI Dots 两款消费级 AI 智能体。