跳到正文
#安全/对齐
10月15日周四
  1. arXiv cs.AI39

    CompanionSafe：从多轮安全评估到 AI 伴侣护栏

    研究团队提出 CompanionSafe 统一框架，包含多轮评估组件 CompanionEval 与护栏组件 CompanionGuard。CompanionEval 基于多样人设、匹配伴侣角色和对话场景构建 1300 个关系化多轮评估设置，覆盖四个轮次层级；CompanionGuard 将基准暴露的失败转化为轮次定位监督，用于伴侣特定风险检测。

  2. arXiv cs.AI38

    STOU：第一视角多模态助手安全评测基准，区分伤害对象而非只看拒答率

    研究者提出 STOU 基准，包含 2,902 条第一视角视频-音频与视频-文本查询，按潜在伤害对象分为用户自身（Self）、同场他人（The Others）与社会整体（Others）。该评测将安全理解与拒答行为解耦，除拒答外还考察模型是否识别用户意图、伤害的存在与对象及其后果。在 10 个开源与闭源全模态及多模态 LLM 上，拒答率随伤害对象系统性变化，且模型常识别出风险仍继续提供帮助。

  4. arXiv cs.AI38

    LLM 智能体能否真正遗忘？AUBench 基准探索智能体机器遗忘

    研究者提出智能体遗忘问题，即需从 LLM 智能体的参数知识、持久记忆和工具调用三条信息通道中移除隐私信息，仅靠参数级遗忘并不足够。为此推出 Agent Unlearning Benchmark（AUBench），将 TOFU 的虚构作者设定扩展至带持久记忆、离线网页快照和工具可访问文档的智能体环境。评测显示模型级遗忘与系统级智能体遗忘之间存在明显差距。

  5. arXiv cs.AI23

    论文指出 BBQ 偏见分数混淆可答性，提出 GCD 方向设计

    研究在 BBQ 基准上发现偏见分数混淆了模型偏好与是否作答，可答性通道在 99 种配置中有 17% 的情况贡献超过一半分数变化、11% 的情况贡献全部变化。作者提出 Gradient-Constrained Direction Design（GCD），在 Qwen-7B 协议下将作答率失真降低 14 倍、偏好改变扩大 4 倍，并建议在报告分数时同时披露可答性。

  6. arXiv cs.AI31

    REA：从正确的 LLM 判断到安全的决策交付

    研究提出 Resolve–Express–Act（REA）框架，追踪 LLM 判断从解析到回退再到应用动作的全过程，发现正确预测常出现在格式错误的输出中。解析安全判定可保留推理型安全护栏的准确率优势，接受格式变体则能挽回大部分被拒的正确预测。在 fail-open 回放中，匹配解析器与输出并修复格式后，尽管护栏判断正确却仍被放行的有害请求比例从 95.5% 降至 0%。

  7. arXiv cs.AI36

    LLM 智能体跨客户目标泄漏：KV cache 中的目标表征如何影响决策

    研究测试 OLMo-3-7B-Instruct 在双客户环境中共享对话记忆时的表现，模型在 22% 的合格决策中偏离当前客户目标。线性探针显示客户目标归属在中间层高度可恢复并集中于特定注意力头，消融竞争对手的缓存目标表征可将模型拉回当前客户，且效果强于随机头和非目标 token。

  8. arXiv cs.CL26

    SkillScreen：用决策模型高召回筛查恶意 Agent 技能

    SkillScreen 是一个紧凑决策模型，单次前向传播即可从 SKILL.md 直接为技能恶意性打分。在 MaliciousSkillBench 上，它对未见攻击家族实现 99% 召回，仅误报 20-25% 良性技能，明显少于词级分类器和提示词 LLM 评判。但面对陌生的良性来源，误报会急剧上升，说明识别新攻击并不等于能可靠筛查新的技能集合。

  10. arXiv cs.CL32

    SecJev：为 System One 决策模型注入安全领域专业知识

    面向安全场景的 Jev 风格决策模型家族 SecJev 发布，参数规模覆盖 0.8B 至 9B，可从文本、遥测数据和观测历史中学习布尔、选择与有序决策。其中 SecJev-0.8B 在任务宏平均准确率上比通用 Kev-9B 高出 20.51 个百分点，0.8B 与 4B 版本在准确率和延迟接近仅答案生成式微调的同时，峰值 GPU 显存占用更低。

  12. arXiv cs.AI47

    LLM 智能体发现跨域依赖冲突仍继续执行：网络切片中的跨域依赖研究

    研究通过智能电网用例测试了 10 个来自 4 家厂商的 LLM 智能体在 600 次运行中的表现：7 个模型在收到跨域依赖信息后至少一次移除了保护切片，高危害层级中 76% 的暴露运行移除了切片，仅 1 个模型从未移除。研究识别出两种失败模式——未查询依赖和查询后仍继续执行，表明跨域依赖的可见性不足以保障安全，依赖验证应由管理架构强制执行而非交由 LLM 判断。

  13. arXiv cs.CL24

    固定与递归自我改进系统的安全算法不可验证性

    针对自我修改系统（重写自身代码的智能体、递归自我改进循环），论文将一步自我修改建模为代码的全可计算变换，证明若变换仅依赖行为，保持性即 Rice 定理的升格；若读取代码，则保持性至少与停机问题同等困难。沿整条轨迹的持续性可高出一个算术层级，任何全监督器都会在无法定位的系统集合上出错，且基于有限行为证据的认证方案存在被逐阶段认证却违反性质的演化轨迹。

  14. arXiv cs.CL41

    LLM 在经济因果推理中的意识形态偏见

    研究将 EconCausal 基准扩展至意识形态争议案例，从 10,490 个因果三元组中识别出 1,056 个争议实例，评测 20 个 SOTA LLM 预测实证支持的因果方向。结果显示争议项准确率一致更低，且 20 个模型中有 17 个在因果符号符合干预导向（亲政府）预期时准确率系统性高于市场导向（亲市场）预期；模型出错时预测也过度偏向干预导向，一次性上下文提示无法消除这一方向性偏斜。

  16. arXiv cs.CL29

    BenchPreS：评估持久记忆 LLM 的上下文感知个性化偏好选择性基准

    研究者提出 BenchPreS，用 Misapplication Rate（MR）和 Appropriate Application Rate（AAR）两项指标评估持久记忆 LLM 能否在第三方沟通场景中恰当应用或抑制用户偏好。结果显示，即使前沿 LLM 也难以做到上下文敏感，偏好依从性更强的模型过度应用率更高，推理能力与基于提示词的防御均无法完全解决该问题。

  17. arXiv cs.AI20

    把透明度视为可回答性：角色相关的信息流建模

    研究者提出把 AI 透明度重新定义为一种关系：系统对某利益相关者透明，取决于其合法问题能否从系统结构中获答，并用信息流网络形式化。该框架支持结构可回答性、跨组织边界的组合可回答性，以及给定利益相关者可访问子网络的角色相关可回答性三个维度。研究以某公共部门市政 AI 招聘工具的真实预集成评估为例，展示了如何在 Provider 与 Deployer 边界上形式化分析透明度问题。

  19. arXiv cs.AI34

    同一操作，不同权限：评估 Guardrails 是否遵循授权

    研究者提出 benchmark，用专家标注的自然语言场景与已执行验证的操作，对比同一操作在语言轨道上的授权证据，检验 Guardrails 是否在阻止未授权操作的同时放行有合法权限的相同操作。实验显示，许多被阻止的操作源于审查失败而非正确拒绝；修复输出格式可恢复可用决策但改变被放行的授权请求，增加第二审查者能消除部分错误却会拒绝有效授权。

  21. arXiv cs.AI38

    研究：用部分生成将提示词危害性与交互安全性分离

    一项研究提出用部分生成判断 LLM 交互安全性：系统可先开始生成、观察部分输出，仅在内容变有害时停止。研究构建了 41,944 条 prompt-response 对，覆盖 Llama、Gemma、Qwen 三个家族的七个开源权重模型，发现提示词危害性与交互安全性并不一致，两者标签仅 50.46% 一致（Cohen's κ = 0.06）。

  24. arXiv cs.CL36

    搜索智能体的 Lazy Grounding 攻击：事实性证据也能误导检索推理

    研究者提出"lazy grounding"攻击：将基准问题改写后对应的邻近事实证据注入搜索语料，这些文档虽真实却与原始问题无关，仍会被检索并误导搜索智能体。在 12 个模型-基准组合上，该攻击使回答准确率平均下降 5.9 分、最高下降 17.3 分，且所有设置均出现邻近答案被采纳。证据出现位置越靠后或越像答案时，影响更强。

  26. arXiv cs.AI38

    LLM 推理中的叙事悖论：将推理轨迹导向失准

    研究者提出 PDRA（Paradox-driven Reasoning-based Attack），通过将恶意行为者与良性任务配对构建悖论叙事核心，并嵌入强制三阶段分析框架（表层目的、潜在意图、操作重建），引导 LLM 生成有害内容。该攻击使模型内部表征偏离拒绝相关模式，抑制安全触发词并激活规划类词汇，在多种 LLM 上取得 SOTA 攻击成功率。

  28. arXiv cs.AI27

    agent-risk：面向 AI 智能体变更的风险评估方法

    研究者提出 agent-risk，用于在修改已部署 AI 智能体前基于现有日志评估变更风险，可重放日志片段并假设其他条件不变、智能体不预知变更。在 bash 沙箱中，仅凭 7,200 条 episode 日志无法判定两个重试门控，而从保存状态仅重跑被阻断 episode 即达到与实时测试相同的决策，智能体调用量减半；缺少逐步危害记录时，停止门控的认证危害上限最高上升 2.5 倍。

  29. arXiv cs.AI31

    TIPER：通过任务完整性约束下的人格演化揭示 LLM 智能体的鲁棒性弱点

    研究者提出 TIPER，一种保持任务完整性的人格演化方法，通过反思引导的行为变异和任务级 Pareto 选择，自动发现能暴露智能体鲁棒性弱点的用户策略。在四个交互式智能体基准上，TIPER 在全部 12 个 GPT-5.4 设置中降低留出 avg@3 分数 5.8 至 33.7 个百分点，在覆盖七个智能体的全部 28 个智能体-领域组合中观察到中位数 22.9 个百分点的下降。

  33. arXiv cs.AI22

    分布式智能体工具网关的撤销完成判定：C0-C5 可执行结果契约

    论文提出 C0-C5 有界结果契约，用于判定分布式智能体工具网关的撤销是否真正完成，并以持久化监控在冻结网关集上实现。在 Keycloak 26.7、8 个物理网关、Filesystem 与 PostgreSQL 效果及 16 台 AWS 主机的实验中，接收端选择性不投递时传输确认与接收端持久化仍成功，但 225 次调用中 112 次（49.78%）被放行且效果全部提交。

  35. arXiv cs.AI24

    LURE：在线诱骗对话的阶段性标注合成语料库

    研究者发布 LURE，一个用检索增强流水线生成的诱骗者-受害者对话合成语料库，基于 80 亿参数、拒绝机制被消融的开源语言模型构建。语料库含 2,121 段独特对话，覆盖 7 个标签和 4 个诱骗阶段，每段附 Plutchik 情绪字段，标签准确率 0.85、阶段准确率 0.93。真实与合成判别器区分两个领域的准确率为 91%，语料库、数据表与审计代码经审核后开放获取。

  37. arXiv cs.CL26

    面向大语言模型的多数位感知水印方法

    研究者提出多数位感知编码（majority bit-aware encoding）新范式，将水印信号强度与绿名单规模解耦，即使使用大绿名单也能在生成文本中保留强水印信号。基于该范式给出 MajorMark 与面向长消息优化的 MajorMark⁺ 两种实现，在 SOTA LLM 上取得比既有基线更高的解码准确率和更优文本质量。该工作已被 NeurIPS 2026 接收，代码已开源。

  38. arXiv cs.CL22

    ChatGPT 识别定向攻击与不当言论的效果评估与改进：一项对比研究

    研究对比 ChatGPT 与众包标注、专家评估，考察其识别网络评论中定向攻击与不当言论的准确性和一致性。结果显示 ChatGPT 检测不当内容表现良好，迭代提示词改进的收益几乎全部来自一次改动——简化标签体系并切换到 GPT-4，此后调整提示词结构和采样温度收效甚微。其在定向攻击语言上表现较弱且不稳定：改进前假阳性率高于专家判断，更换模型后假阴性率升高。