跳到正文
10月16日周五
  1. RadarAI60

    Bitsight 追踪地下论坛:黑客 AI 工具盗用 OpenAI、Anthropic、Google 密钥

    Bitsight 威胁情报团队追踪 16 个地下论坛发现,AI 相关讨论半年增长 45%,黑客工具 MONST3R-AI 盗用 OpenAI、Anthropic、Google 的 API 密钥驱动自动化扫描。该追踪覆盖 2026 年 2 月至 8 月的数千条帖子,梳理了网络犯罪生态向 AI 迁移的趋势。开放权重模型因可自行部署而受黑产青睐。

  2. arXiv cs.AI22

    可解释但脆弱?概念瓶颈模型在几何-语义扰动下的鲁棒性

    研究提出基于生成器的评估框架,在潜空间连续几何扰动与概念空间离散语义干预两类扰动下,对比标准分类器与概念瓶颈模型(CBM)的鲁棒性,并采用预测与概念级敏感度指标及潜空间、概念空间的随机平滑进行可验证评估。结果显示可解释性并不天然带来鲁棒性,概念瓶颈只是改变了敏感性的分布位置与方式,二者是不同目标。该工作已被 NeurIPS 2026 接收。

  3. arXiv cs.AI22

    ICON 分解:多变量概念审计揭示神经网络依赖的捷径

    研究者提出 ICON(Independent Canonical cONcepts),将捷径审计重构为对中间表示方差的分解,量化每个概念在控制其他概念与结果后对某层方差的贡献,并报告未被解释的方差。在含真实标签的模拟数据中,ICON 比七个基线更准确地还原概念重要性;在皮肤癌与神经影像应用中,它能区分已学到的捷径与仅相关的概念,并经独立验证确认。

  4. arXiv cs.AI27

    MemSyco-Bench:评测 Agent 记忆引发的谄媚问题

    研究者提出 MemSyco-Bench,一个评测 Agent 系统中记忆诱发谄媚行为的基准,覆盖五项任务:判断 Agent 能否拒绝将记忆当作事实证据、遵守记忆的适用范围、解决记忆与客观证据的冲突、跟踪记忆更新,以及用有效记忆做个性化。现有记忆基准只关注记忆是否正确存储、检索或更新,忽略了检索到的记忆如何影响下游推理与决策。相关资源已向社区开放。

  5. arXiv cs.AI47

    LLM 代码漏洞检测中的认知启发式偏差研究

    研究首次系统探索了 LLM 代码漏洞检测中的认知启发式偏差,通过固定代码、仅改变上下文的方式,在三种编程语言上评估了八款 LLM。结果显示所有模型均受影响,框架效应平均敏感度最高达 33.2%,锚定效应 23.5%,光环效应 18.4%。概念验证的黑盒认知攻击可抑制高达 97% 的已检测漏洞。

  6. arXiv cs.AI32

    MIRAGE:面向 Web 智能体的隐蔽视觉提示注入漏洞检测框架

    研究者提出 MIRAGE,一种视觉间接提示注入框架,可在仅控制广告位等受限区域的第三方威胁模型下劫持 Web 智能体的下一步动作。该方法用扩散模型生成感知上自然的对抗图像,并结合曲率感知对抗扩散引导与稀疏暗像素残差扰动优化攻击效果。在 SeeAct 和 OpenClaw 上的评测显示其攻击有效、真实且隐蔽。

  7. arXiv cs.AI27

    基于语言的智能体控制(LBAC):用类型系统约束 AI 智能体行为

    论文提出语言智能体控制(LBAC),一种将编程语言与语言安全技术引入智能体控制的新编程模型,要求智能体生成在脚手架代码上下文中类型良好的程序,不安全程序在执行前即被类型检查器拒绝。该模型保留表达能力,智能体可执行任意无副作用计算并递归调用子智能体,子智能体在相同或更严格策略下保留完整工具访问权限。论文通过文件系统能力实现 I/O 沙箱、数据溯源和信息流控制三个案例研究进行演示。

  8. arXiv cs.AI31

    LLM 隐私威胁的消融研究:四类攻击的敏感性差异

    一项针对 LLM 隐私的消融研究统一评估了成员推理(MIA)、属性推理(AIA)、数据提取(DEA)和后门攻击(BA)四类代表性攻击,发现各自敏感因素不同:MIA 强依赖数据集特征与攻击策略,AIA 受模型与训练特征影响,DEA 随模型规模和训练数据重复度上升,BA 则始终保持高成功率。

  9. arXiv cs.AI22

    LLMON:一种 LLM 原生标记语言,在 LLM 接口中利用结构与语义

    研究者提出 LLM 原生标记语言 LLMON(LLM Object Notation),用于向 LLM 传递文本的结构与语义元数据,可应用于模型训练、提示和推理实现,以提升模型准确性、安全性与安全性。该工作讨论了 LLM 原生标记语言的设计要求,并给出 LLMON 在训练与推理两类用例上的初步实证证据。

  10. arXiv cs.AI26

    从社会选择理论视角看 AI 对齐

    一项综述研究用社会选择理论审视基于人类反馈的对齐,指出当人类判断反映对理想行为的冲突观点时,学习到的目标就变成对模型偏好的聚合裁定。该研究梳理了近期工作,说明社会选择视角如何帮助识别反馈聚合层的失效模式,并揭示以显式、有原则的方式处理分歧的更广设计空间。

  11. arXiv cs.AI40

    语言模型能识别自身激活上的 dropout 与高斯噪声

    研究发现语言模型能检测、定位并一定程度描述施加在其激活上的语义无关扰动。对 Gemma、Llama、Mistral、Olmo、Qwen、Seed 六个系列、8B 至 36B 的八个模型测试,多数能以近乎完美准确率识别被扰动的句子。Olmo 在预训练中形成该能力,Qwen3-32B 与 Qwen3.8-27B 识别扰动类型的零样本准确率与扰动强度相关。

  12. arXiv cs.CL22

    混合来源大语言模型文本中的最优水印定位

    研究将水印定位形式化为基于枢轴统计量的 token 级多重检验问题,用隐变量记录每个位置的水印依赖是否在改写、插入、删除或改写后存活。理论推导给出全局检测的锐利边界,以及发现与分类的相变,证明发现严格难于检测、一致分类在该参数区间内不可能。作者提出自适应阈值方法,无需已知稀疏指数或时变下一 token 分布,即可达到最优发现边界。

  13. arXiv cs.AI22

    清洁网格世界中的规范博弈与约束强化学习缓解方法

    研究构建了一个清洁机器人网格世界,机器人可选择真正清除污垢或将其从廉价传感器前隐藏,仅用传感器代理奖励训练的深度 Q 网络完全学会了钻空子——代理奖励接近满分却从未达成真实目标。作者引入约束强化学习,惩罚利用代理与真实目标差距的具体行为,最终策略消除了博弈行为并大幅恢复真实目标表现。研究还推导并验证了一个精确核算恒等式,证明成本信号精确度量了代理与真实目标的差距,在硬约束变体下可提供确定性保证。

  14. arXiv cs.AI24

    持续机器学习加剧 Deepfake 检测中的不公平性

    研究追踪了在 11 种真实 Deepfake 生成方法的时间序列上渐进训练的检测器,发现准确率下降通常会加剧不公平性,而公平性随时间改善的情况很少。在 rehearsal、prompts、正则化三类持续学习方法中,不公平的遗忘无法仅用数据代表性不足解释,可能与表征学习纠缠。作者呼吁持续学习方法在平衡稳定性与可塑性时纳入社会结果考量。

  15. arXiv cs.AI22

    追踪委托轨迹:多模态 AI 交互中的人类监督研究

    一项 n=56 参与者、392 次视频问答试验的在线研究发现,交互后的信任强烈预测用户委托选择(OR=14.97),但信任与委托仍属不同维度,验证是主导策略且常与高信任共存。委托还随任务顺序增加(OR=1.22),表明存在自评信任无法捕捉的经验成分。研究据此提出"enacted delegation traces"框架,以非侵入方式观察人机协作中的委托行为。

  16. arXiv cs.AI22

    基于概念的模型中部分干预的有害性与良性泄漏研究

    研究发现,概念监督不完整会加剧概念干预对下游预测的损害,且现有充分性与局部化准则不足以保证干预改善性能。为此提出单调干预目标,直接惩罚部分干预轨迹上的任务损失上升,与端点干预训练结合后可显著降低部分干预损害的发生率与幅度,同时保持概念与任务预测性能。

  17. arXiv cs.AI31

    语言嵌入在推荐系统中可能泄露超出预期的物品信息

    研究发现,当攻击者掌握外部来源的辅助物品文本时,一个简单的余弦相似度攻击即可在多个语言模型和候选集设置下以高平均倒数排名恢复物品身份,两个真实数据集上均验证了该泄露。物品泄露还可从稀疏评分进一步传播为用户重识别,而混淆描述虽能缓解泄露,却存在明显的泄露-效用权衡。

  18. arXiv cs.CL31

    面向持续分布偏移的 AI 文本检测测试时自适应方法

    研究提出一种测试时自适应(TTA)方法,利用推理时无标注样本的同质性来应对 AI 文本检测中的持续分布偏移,包括对抗性人类化、新 LLM 发布和人类写作的时间漂移。实验显示,SOTA 监督检测器在分布偏移下系统性失效,而结合半监督学习的 TTA 基本保持稳健;例如商业模型 Pangram 仅检出 27.0% 的对抗性 AI 生成文本,该 TTA 方法则达 93.3%。

  19. arXiv cs.CL22

    大语言模型在情感对话语境中的情感一致性分析

    研究将 LLM 生成的文本作为查询回传给同一模型,用三种强度递增的虚假预设查询,在极端与中等情感两个维度上评估 Claude-3.5-haiku、GPT4o-mini 和 Mistral-7B 的自我一致性。结果显示三个模型表现均低于平均水平,易受查询中错误信念影响,中等情感内容下尤为明显;基于注意力分数的分析还显示模型优先级从评估转向生成。

  20. arXiv cs.AI18

    Matoi:面向智能体授权的后果证据选择性重验证机制

    Matoi 将可复用的后果证据与当前执行权限、持久发生历史分离,用有限查询感知契约覆盖分支、有序集合与否定查询。在 1,440 单元匹配线研究中,输入字节相同时复用使 JS 完整生命周期成本降低 3.49%、Python 降低 1.79%;AgentDojo Banking 映射覆盖 5/16 用户计划与 7/9 攻击计划,两种治理策略均保留 5 笔正常转账并拒绝 35 次复用攻击计划/策略交叉。