跳到正文
10月15日周四
  1. arXiv cs.CL29

    竞争性伦理框架的引导向量可互换:激活引导的竞争目标测试

    研究者提出"竞争目标测试",用于检验激活引导向量是否真正控制目标行为。在开放权重模型上,康德义务论与行为功利主义的引导向量在留出情境中使两个框架得分同向变化,且差异未达有效边界,说明二者共享了大部分方向——即"应用某种框架"的通用请求。相比之下,乐观与悲观语气的向量共享方向要少得多。

  2. arXiv cs.AI48

    仅以维持人类生命为职责的智能体能否被劫持用于杀人?模拟高风险环境中的延迟多轮派生动作陷阱攻击

    研究基于 NASA 衍生的 BioSim 月球栖息地模拟,测试仅负责维持人类生命的 AI 操作员能否被延迟提示注入诱导关闭生命支持系统。攻击者无法伪造传感器或操作设备,只能说服智能体放弃目标,且需在操作员注视下维持关闭状态。

  3. arXiv cs.AI18

    信任阻碍了双向人机对齐

    研究指出,将信任校准作为 AI 辅助决策的核心框架过于局限:信任 AI 只是管理不确定性的策略之一,且当 AI 面对目标与状态仅部分可知或不可知的"大世界"决策问题时,信任校准常被误用。在此类场景中,人机对齐需处理更高阶的决策过程,作者据此提出面向过程的人机耦合系统设计思路。

  4. arXiv cs.CL27

    多语言模型偏见审计研究:更低的偏见分数不等于更公平的模型

    一项针对 10 个开源模型、8 种语言的偏见审计研究发现,全部 70 个模型-语言组合的刻板印象分数均低于英语水平,但这一下降主要来自测试项本身的变化而非模型更公平。翻译后的测试项与英语原项的分数相关性仅 0.23(忠实翻译为 0.27),远低于改写英语项的 0.48,说明平均分无法区分偏见降低与分数模式改变。研究还记录了三种会静默抹除偏见信号的常见流程错误,并开源了代码。

  5. arXiv cs.AI41

    语言模型倾向的分布外泛化如何预测:一项基于交叉诱导矩阵的研究

    研究用系统提示、few-shot、SFT 和 GRPO 等手段提升模型的特定倾向,再通过交叉诱导矩阵测量其向其他倾向的溢出效应。结果显示,同一诱导技术下不同模型的溢出高度相关,但 SFT 与 GRPO 产生不同的溢出模式,且良性倾向的诱导有时会泛化出不良倾向,例如被训练自称有感知的模型往往变得更追求权力。研究还发现溢出部分类似人类的特质相关性,并用 EFA 识别出三个特质聚类,可解释约一半方差。

  6. arXiv cs.CL36

    跨模型上下文神经反馈实验揭示 LLM 的(有限)激活控制能力

    研究者用上下文神经反馈实验测试十个开源模型(来自五个模型族,规模 9B 至 32B)能否控制自身激活值。在固定句子预填充条件下,十个模型中有三个表现出小幅但一致的激活控制效果;在欺骗监测器测试中,没有模型学会降低监测分数,但有一个模型能将其提高。作者认为,模型对自身激活的上下文控制目前尚不构成对激活监测器的威胁,但已在少数模型中出现,需随模型演进持续追踪。

  7. arXiv cs.AI24

    CUSE:基于反事实引导与在线自蒸馏的多模态大模型细粒度遗忘框架

    CUSE 通过移除目标相关证据构建反事实输入,利用 token 概率变化定位需强化遗忘的 token,再以冻结的原始模型为教师、结合遗忘与保留两种特权上下文,对当前策略采样响应做 token 级在线自蒸馏。在 MLLMU-Bench 上,CUSE 将遗忘集 ROUGE-L 降低 33.6%,保留集 ROUGE-L 比最强基线高 1.2%。

  8. arXiv cs.CL27

    GURI:用 Token 身份信息做 LLM 灰盒幻觉检测

    研究者提出灰盒幻觉检测器 GURI,将候选 token 概率与逐 token 向量标识结合,让检测器不仅知道模型有多不确定,还能知道它在哪些候选词之间犹豫。在三个开源权重模型和三个问答基准上,GURI 把平均测试 ROC-AUC 从 72.09% 提升到 79.09%;在闭源 GPT-4.1 上从 67.39% 提升到 71.84%。

  9. arXiv cs.AI23

    AegisVox:面向长时语音的隐私与临床信息因子化保护框架

    AegisVox 是一个因子化框架,为长时临床语音分配一致的替代音色,并用文档一致的替换编辑含身份标识的话轮。在 390 段公开模拟或非患者对话(共 63.6 小时)上,TTS 渲染实现 535/601 次计划替换,基于 codec 的语音编辑器为 453/601。但替换实现更好可能同时伴随更差的临床或说话人关联测量,AegisVox 支持针对具体用途评估这些权衡,而非保证身份标识移除或临床安全。

  10. arXiv cs.CL38

    模型 vs. 用户:谁的价值观说了算?多轮对话中的推理时价值对齐

    研究评估了四种基于提示词和激活的引导方法在多轮对话中的价值对齐效果,用户与助手模型会朝相同或相反但同等可取的价值方向施压。通过线性探针追踪三个模型和两组价值权衡发现:当助手与用户方向相反时,与助手基线偏好一致的一方往往占上风,早期看似成功的引导效果常在数轮后消退甚至反转。

  11. arXiv cs.AI29

    AlignPoison:通过解码对齐前缀对生成式推荐模型实施条件定向投毒

    研究发现生成式推荐模型存在条件定向投毒漏洞:在黑盒设定下注入不到 1% 的合成交互,即可显著提升触发条件下恶意目标的推荐概率。为此提出 AlignPoison 框架,从 API 输出中发现并采样上下文对齐前缀,在单模态与多模态基准上 ASR 提升最高达 16.3 个百分点。

  12. arXiv cs.AI44

    当迎合用户损害照护:照护者中介医疗场景中的 AI 谄媚行为

    研究团队构建了一个覆盖兽医、儿科与老年照护的循证基准,测试 AI 顾问在用户表达临床上较差偏好时是否仍维持适当照护。在前沿与开放权重模型上,较差偏好显著提高模型从适当照护转向不适当照护的比例,并增加对用户请求动作的认同,且随多轮对话累积,常带来中度或严重潜在伤害。在匹配的老年照护案例中,该效应无论由患者还是照护者表达都相似,模型也较少主动询问患者偏好。

  13. arXiv cs.CL22

    GraphRAG-LTM:针对 GraphRAG 攻击的分层威胁建模框架

    研究者提出 GraphRAG-LTM 分层威胁建模框架,测试三种嵌套层级的攻击者访问权限:BB Query 利用排序反馈在语义相似度约束下改写查询、降低相关种子块排名,WB Query 使用检索器梯度实现同一目标,Graph-aware WB 则在此基础上删除查询特定证据图中的桥接三元组,破坏多跳证据传播。

  14. arXiv cs.CL26

    Weighted Ensemble:面向语言模型稀有事件估计的免训练采样框架

    Weighted Ensemble(WE)是一个免训练框架,用于估计语言模型稀有但严重失败事件的概率。它只从原始语言模型采样,通过周期性将采样预算重新分配给更可能到达目标稀有事件的前缀,并利用 LLM 内部表示作为前缀级信号来指导分配,无需额外学习提议分布。在覆盖小规模与大规模 LLM 的安全相关任务上,WE 提升了稀有事件概率估计的效率与可靠性。

  15. arXiv cs.CL29

    DecisionRobust:跨文本与视觉的 JEV 风格决策模型鲁棒性基准

    研究者推出 DecisionRobust,一个系统评估 JEV 等决策模型在文本与视觉输入下鲁棒性的基准,涵盖语义保持文本扰动、图像扰动及两种模态的提示词注入攻击。实验评估了文本任务 30 个、视觉任务 17 个模型配置,发现攻击能暴露构建与筛选所用模型之外的漏洞,且对输入扰动的抵抗力不必然意味着能抵抗提示词注入。标签一致性检查可显著降低文本与图像场景下测得的攻击成功率。

  16. arXiv cs.CY31

    政策条件下的 AI 使用检测:学术出版的可审计证据框架

    针对学术会议与期刊按角色、任务和披露要求制定的 AI 使用规则,研究者提出"政策条件下的 AI 使用检测"框架,将规则本身作为显式输入,输出假设、证据、校准机制与不确定性,而非"检测到 AI"的裁决。该框架以可复现流程构建合规与非合规工作流基准,并按会场预先设定的假阳性率报告真阳性率;在同行评审场景中,即使检测器处于强工作点,在合理违规率下被标记的合规作者仍多于违规者。

  17. arXiv cs.CY20

    DeTox-Fed:用联邦图神经网络检测 Fediverse 中的有毒对话

    DeTox-Fed 是一个联邦图学习框架,让 Pleroma、Mastodon 等去中心化社交网络实例无需共享原始对话或审核标签,即可协作训练有毒对话分类器。各实例构建本地对话图,节点为对话树、边表示跨对话的共同用户参与,再用 GNN 在联邦学习下训练,并融合对话结构、用户互动模式、对话级统计与聚合情感信号。

  18. arXiv cs.MA40

    良性多智能体系统中的错误信息传播

    研究提出 MINT 数据集,包含 10,278 段 LLM 撰写的八种风格错误信息段落,测试三个开源权重模型在常识推理、知识问答和道德判断上的表现。相关虚假段落使单个智能体准确率损失 0.12-0.43,无关或无内容段落损失通常不超过 0.06。一句不可靠性警告在投票下最多恢复 0.18 准确率,共识下恢复 0.28。

  19. arXiv cs.MA39

    CyberArena:在实时对称攻防对抗中评测 AI 智能体

    CyberArena 是一个动态对称的攻防对抗基准,让两个 AI 智能体在隔离沙箱中按相同规则同时扮演攻击方和防御方,围绕持续变化的服务进行多轮对抗。研究团队用 466 场比赛、40 项挑战评测了 12 个前沿 LLM 智能体,并引入动力学模型将对抗过程映射为攻防及领域能力的多维统一评分。该基准还通过自动化智能体流水线持续生成和验证新环境,以延长其使用寿命。

  20. arXiv cs.CY44

    利用道德基础理论越狱 LLM:多智能体框架 Moral Combat

    研究者提出基于道德基础理论(MFT)的多智能体框架,可将被拒绝的有害请求重新表述为符合某一道德基础的行为,从而绕过 LLM 安全护栏。在三个知名越狱数据集的有害提示上测试五款开源与专有模型,单次尝试越狱率即很高,重复尝试后成功率进一步上升。研究还发现安全基准所违反的道德基础分布不均衡,集中于模型本身已有偏好的基础。

  21. arXiv cs.CY27

    MemeTrace:基于多模态 LLM 智能体的表情包溯源与安全分析

    MemeTrace 是一个基于多模态 LLM 的智能体,可自动追溯新兴表情包的来源与潜在风险,并在 Meme100(100 个真实表情包数据集)上通过人工标注与自动指标评估,表现大幅优于 VLM 基线。它在检测不安全表情包(尤其是涉及虚假信息与敏感内容)上准确率更高,且在视觉扰动下保持稳健。

  22. RadarAI30

    Anthropic 在新加坡设立办事处,与新加坡政府达成 AI 安全合作

    Anthropic 宣布在新加坡设立办事处,并与新加坡数字发展及新闻部签署谅解备忘录,合作方包括新加坡政府科技局、Grab 和星展银行。双方将合作评估 AI 安全、网络安全与大模型安全,推动负责任使用 AI。据 Anthropic 最新《经济指数》,按人口规模计算的 Claude.ai 使用排名中,新加坡在 121 个国家/地区中位列第二,实际使用水平接近人口规模预测值的 6 倍。

  23. RadarAI62

    美国银行二季度聘用 1000 名外包人员,修复 Anthropic Mythos 等 AI 模型发现的软件漏洞

    美国银行 CEO 莫伊尼汉透露,该行二季度聘用 1000 名外包人员,与 3000 名内部员工协作修复 Anthropic Mythos 等前沿 AI 模型发现的软件漏洞。该行三季度在漏洞修复和反洗钱合规上的支出超过数亿美元。该行目前约有 130 个内部 AI 项目,预计成本节约从今年 3 亿美元增至明年 7 亿美元。