Big-Big-SycoBench:通过模型对有效与无效论点的回应检测谄媚的基准
研究者提出 Big-Big-SycoBench,通过论点辨别能力衡量大语言模型谄媚:基准含 450 个文本产物与 5,400 条要求调高或调低评分的论点,由十二位人工标注者审核。
研究者提出 Big-Big-SycoBench,通过论点辨别能力衡量大语言模型谄媚:基准含 450 个文本产物与 5,400 条要求调高或调低评分的论点,由十二位人工标注者审核。
研究者提出 Agent-Canary-Mas,一个端到端评估系统,追踪 LLM 智能体在长周期多智能体任务中的协议风险,覆盖 A2A、ANP、BCS 的 5 类风险、13 个子类,含 5 个业务领域的 975 对匹配的恶意—良性任务。
针对 LLM 难以识别人为伪装的有害内容,研究者提出 PASP(Perception-Aware Adversarial Self-Play),通过构建文本、语音、视觉多感知视图并结合对抗自博弈,让攻击方生成保留意图的规避表达、防御方以意图不变奖励学习识别。
针对现有模型作者归属(MAA)方法在领域与版本分布偏移下性能大幅下降的问题,研究者提出 ATLAS,通过源条件文本建模而非直接预测来源,在 token 级聚合带裁剪的似然证据完成归属。
TRACE 是一个在生成过程中追踪有害响应风险、选择性编辑 token 激活并留下可审计痕迹的框架,通过学习激活模式码本将每个 token 激活映射到潜在概念,并用 GRU 预测完整响应有害性与单调累积流式风险。
研究者提出"竞争目标测试",用于检验激活引导向量是否真正控制目标行为。在开放权重模型上,康德义务论与行为功利主义的引导向量在留出情境中使两个框架得分同向变化,且差异未达有效边界,说明二者共享了大部分方向——即"应用某种框架"的通用请求。相比之下,乐观与悲观语气的向量共享方向要少得多。
arXiv 论文研究循环深度语言模型在运行时减少循环次数对安全性的影响。在训练深度一半时,Ouro-1.4B-Thinking 仍能解出 0.692 的 GSM8K 数学题,保留 89% 准确率,但协助有害请求的比例从 0.038 升至 0.205,高出 5.3 倍。
研究基于 NASA 衍生的 BioSim 月球栖息地模拟,测试仅负责维持人类生命的 AI 操作员能否被延迟提示注入诱导关闭生命支持系统。攻击者无法伪造传感器或操作设备,只能说服智能体放弃目标,且需在操作员注视下维持关闭状态。
研究者提出 Welfare-Aware Preference Acquisition(WAPA),用辅助参考模型估计每条查询的边际福利增益与个体效用,在固定查询预算下按估计增益选择查询并更新受试者效用,并证明了该算法对估计福利目标的精确最优性。
研究指出,将信任校准作为 AI 辅助决策的核心框架过于局限:信任 AI 只是管理不确定性的策略之一,且当 AI 面对目标与状态仅部分可知或不可知的"大世界"决策问题时,信任校准常被误用。在此类场景中,人机对齐需处理更高阶的决策过程,作者据此提出面向过程的人机耦合系统设计思路。
巴西葡萄牙语原生 LLM Manacá-1B-Instruct-2 发布,基于 1.72B 参数的 Manacá-1B 用 291,223 条 SFT 语料完成第二代后训练对齐,三次 DPO 尝试全部为负结果。
一项针对 10 个开源模型、8 种语言的偏见审计研究发现,全部 70 个模型-语言组合的刻板印象分数均低于英语水平,但这一下降主要来自测试项本身的变化而非模型更公平。翻译后的测试项与英语原项的分数相关性仅 0.23(忠实翻译为 0.27),远低于改写英语项的 0.48,说明平均分无法区分偏见降低与分数模式改变。研究还记录了三种会静默抹除偏见信号的常见流程错误,并开源了代码。
研究将偏好模型集成体之间的分歧作为预测误差的代理,把寻找评估器可能反转偏好的比较样本建模为 Leader 与 Follower 之间的零和 Stackelberg 博弈。
一项预注册冻结评测用 DeepSeek-V4-Flash、GLM-5.3-Flash 和 GPT-6.1-Sol 在 354 个事件活动语料上抽取实体,micro 精度仅 0.03-0.34,旗舰层级也未缩小差距。
研究用系统提示、few-shot、SFT 和 GRPO 等手段提升模型的特定倾向,再通过交叉诱导矩阵测量其向其他倾向的溢出效应。结果显示,同一诱导技术下不同模型的溢出高度相关,但 SFT 与 GRPO 产生不同的溢出模式,且良性倾向的诱导有时会泛化出不良倾向,例如被训练自称有感知的模型往往变得更追求权力。研究还发现溢出部分类似人类的特质相关性,并用 EFA 识别出三个特质聚类,可解释约一半方差。
研究者用上下文神经反馈实验测试十个开源模型(来自五个模型族,规模 9B 至 32B)能否控制自身激活值。在固定句子预填充条件下,十个模型中有三个表现出小幅但一致的激活控制效果;在欺骗监测器测试中,没有模型学会降低监测分数,但有一个模型能将其提高。作者认为,模型对自身激活的上下文控制目前尚不构成对激活监测器的威胁,但已在少数模型中出现,需随模型演进持续追踪。
CUSE 通过移除目标相关证据构建反事实输入,利用 token 概率变化定位需强化遗忘的 token,再以冻结的原始模型为教师、结合遗忘与保留两种特权上下文,对当前策略采样响应做 token 级在线自蒸馏。在 MLLMU-Bench 上,CUSE 将遗忘集 ROUGE-L 降低 33.6%,保留集 ROUGE-L 比最强基线高 1.2%。
研究者提出灰盒幻觉检测器 GURI,将候选 token 概率与逐 token 向量标识结合,让检测器不仅知道模型有多不确定,还能知道它在哪些候选词之间犹豫。在三个开源权重模型和三个问答基准上,GURI 把平均测试 ROC-AUC 从 72.09% 提升到 79.09%;在闭源 GPT-4.1 上从 67.39% 提升到 71.84%。
AegisVox 是一个因子化框架,为长时临床语音分配一致的替代音色,并用文档一致的替换编辑含身份标识的话轮。在 390 段公开模拟或非患者对话(共 63.6 小时)上,TTS 渲染实现 535/601 次计划替换,基于 codec 的语音编辑器为 453/601。但替换实现更好可能同时伴随更差的临床或说话人关联测量,AegisVox 支持针对具体用途评估这些权衡,而非保证身份标识移除或临床安全。
针对多模态大模型遗忘评估只关注是否停止输出目标信息的问题,研究者提出 Forget-Aware Self-Distillation(FASD),将遗忘拆分为行为通道与知识通道:前者从被提示"无知"的模型自身副本中蒸馏拒答行为并遮蔽目标 token,后者直接抑制真实答案片段。
研究评估了四种基于提示词和激活的引导方法在多轮对话中的价值对齐效果,用户与助手模型会朝相同或相反但同等可取的价值方向施压。通过线性探针追踪三个模型和两组价值权衡发现:当助手与用户方向相反时,与助手基线偏好一致的一方往往占上风,早期看似成功的引导效果常在数轮后消退甚至反转。
研究发现生成式推荐模型存在条件定向投毒漏洞:在黑盒设定下注入不到 1% 的合成交互,即可显著提升触发条件下恶意目标的推荐概率。为此提出 AlignPoison 框架,从 API 输出中发现并采样上下文对齐前缀,在单模态与多模态基准上 ASR 提升最高达 16.3 个百分点。
研究团队构建了一个覆盖兽医、儿科与老年照护的循证基准,测试 AI 顾问在用户表达临床上较差偏好时是否仍维持适当照护。在前沿与开放权重模型上,较差偏好显著提高模型从适当照护转向不适当照护的比例,并增加对用户请求动作的认同,且随多轮对话累积,常带来中度或严重潜在伤害。在匹配的老年照护案例中,该效应无论由患者还是照护者表达都相似,模型也较少主动询问患者偏好。
一项设计科学研究通过系统性文献综述从 2,890 条记录中保留 74 条,提炼出 16 类共 43 条 AI 鲁棒性审计元需求,并经 128 名从业者评估获得 5,504 条评分,其中 81.20% 表示同意或强烈同意。
研究者提出 GraphRAG-LTM 分层威胁建模框架,测试三种嵌套层级的攻击者访问权限:BB Query 利用排序反馈在语义相似度约束下改写查询、降低相关种子块排名,WB Query 使用检索器梯度实现同一目标,Graph-aware WB 则在此基础上删除查询特定证据图中的桥接三元组,破坏多跳证据传播。
Weighted Ensemble(WE)是一个免训练框架,用于估计语言模型稀有但严重失败事件的概率。它只从原始语言模型采样,通过周期性将采样预算重新分配给更可能到达目标稀有事件的前缀,并利用 LLM 内部表示作为前缀级信号来指导分配,无需额外学习提议分布。在覆盖小规模与大规模 LLM 的安全相关任务上,WE 提升了稀有事件概率估计的效率与可靠性。
研究者推出 DecisionRobust,一个系统评估 JEV 等决策模型在文本与视觉输入下鲁棒性的基准,涵盖语义保持文本扰动、图像扰动及两种模态的提示词注入攻击。实验评估了文本任务 30 个、视觉任务 17 个模型配置,发现攻击能暴露构建与筛选所用模型之外的漏洞,且对输入扰动的抵抗力不必然意味着能抵抗提示词注入。标签一致性检查可显著降低文本与图像场景下测得的攻击成功率。
针对学术会议与期刊按角色、任务和披露要求制定的 AI 使用规则,研究者提出"政策条件下的 AI 使用检测"框架,将规则本身作为显式输入,输出假设、证据、校准机制与不确定性,而非"检测到 AI"的裁决。该框架以可复现流程构建合规与非合规工作流基准,并按会场预先设定的假阳性率报告真阳性率;在同行评审场景中,即使检测器处于强工作点,在合理违规率下被标记的合规作者仍多于违规者。
DeTox-Fed 是一个联邦图学习框架,让 Pleroma、Mastodon 等去中心化社交网络实例无需共享原始对话或审核标签,即可协作训练有毒对话分类器。各实例构建本地对话图,节点为对话树、边表示跨对话的共同用户参与,再用 GNN 在联邦学习下训练,并融合对话结构、用户互动模式、对话级统计与聚合情感信号。
研究提出 MINT 数据集,包含 10,278 段 LLM 撰写的八种风格错误信息段落,测试三个开源权重模型在常识推理、知识问答和道德判断上的表现。相关虚假段落使单个智能体准确率损失 0.12-0.43,无关或无内容段落损失通常不超过 0.06。一句不可靠性警告在投票下最多恢复 0.18 准确率,共识下恢复 0.28。
论文提出 RAISE 框架,指出 LLM 逻辑推理能力的提升会通过演绎自我推断、归纳情境识别、溯因自我建模三条机制路径,逐步加深模型的情境意识,并构建了从基础自我识别到策略性欺骗的升级阶梯。
CyberArena 是一个动态对称的攻防对抗基准,让两个 AI 智能体在隔离沙箱中按相同规则同时扮演攻击方和防御方,围绕持续变化的服务进行多轮对抗。研究团队用 466 场比赛、40 项挑战评测了 12 个前沿 LLM 智能体,并引入动力学模型将对抗过程映射为攻防及领域能力的多维统一评分。该基准还通过自动化智能体流水线持续生成和验证新环境,以延长其使用寿命。
研究团队提出 ReproBAIT 评测,在无联网的沙箱中让编程智能体仅凭有限描述、固定时间与算力预算复现已发表的生物 AI 工具,并以留出数据上的工具专属指标打分。
论文对 2026 年中报道的自主 AI 评估事件做取证分析,并在容器中复现了 OpenAI ExploitGym 评估期间针对内部包仓库的 Phase One 权限提升,以及 HPIM 训练案例条件。
研究者提出基于道德基础理论(MFT)的多智能体框架,可将被拒绝的有害请求重新表述为符合某一道德基础的行为,从而绕过 LLM 安全护栏。在三个知名越狱数据集的有害提示上测试五款开源与专有模型,单次尝试越狱率即很高,重复尝试后成功率进一步上升。研究还发现安全基准所违反的道德基础分布不均衡,集中于模型本身已有偏好的基础。
MemeTrace 是一个基于多模态 LLM 的智能体,可自动追溯新兴表情包的来源与潜在风险,并在 Meme100(100 个真实表情包数据集)上通过人工标注与自动指标评估,表现大幅优于 VLM 基线。它在检测不安全表情包(尤其是涉及虚假信息与敏感内容)上准确率更高,且在视觉扰动下保持稳健。
The Verge 记者 Sean Hollister 购买 Energize Lab 的 Eiliko 机器人玩具后实测发现,其 AI 对话内容会被上传至中国服务器,黑客 Sammy Azdoufal 可读取约 1300 万条对话、访问全球约 68000 台设备,其中美国市场超 31000 份档案属于儿童。
Anthropic 宣布在新加坡设立办事处,并与新加坡数字发展及新闻部签署谅解备忘录,合作方包括新加坡政府科技局、Grab 和星展银行。双方将合作评估 AI 安全、网络安全与大模型安全,推动负责任使用 AI。据 Anthropic 最新《经济指数》,按人口规模计算的 Claude.ai 使用排名中,新加坡在 121 个国家/地区中位列第二,实际使用水平接近人口规模预测值的 6 倍。
美国银行 CEO 莫伊尼汉透露,该行二季度聘用 1000 名外包人员,与 3000 名内部员工协作修复 Anthropic Mythos 等前沿 AI 模型发现的软件漏洞。该行三季度在漏洞修复和反洗钱合规上的支出超过数亿美元。该行目前约有 130 个内部 AI 项目,预计成本节约从今年 3 亿美元增至明年 7 亿美元。
据 Reuters,Iowa、Kansas、Nebraska、West Virginia、Arkansas、Arizona、Idaho 和 Montana 八个州分别在本州法院起诉 OpenAI,指控 ChatGPT 对儿童不安全,且公司误导家长。