VEPA:面向终身 LLM 智能体的可验证演化形式化策略护栏
VEPA 是一个面向 LLM 智能体护栏的形式化策略可验证演化框架,将护栏表示为基于类型化智能体事件的可执行符号规则,由 LLM 依据部署反馈提出策略补丁,再经确定性验证器只接受结构有效且无冲突的策略。在 ASSEBench-Safety、ASSEBench-Security 和 ATBench 上,VEPA 持续优于基线,并在混合流、损坏反馈和更长周期等更严苛部署条件下保持优势。
VEPA 是一个面向 LLM 智能体护栏的形式化策略可验证演化框架,将护栏表示为基于类型化智能体事件的可执行符号规则,由 LLM 依据部署反馈提出策略补丁,再经确定性验证器只接受结构有效且无冲突的策略。在 ASSEBench-Safety、ASSEBench-Security 和 ATBench 上,VEPA 持续优于基线,并在混合流、损坏反馈和更长周期等更严苛部署条件下保持优势。
REDaCT 是一种面向大型推理模型(LRM)的推理时遗忘框架,通过二元泄漏检测器定位推理链中泄漏遗忘集信息的句子,并在首次检测到泄漏时注入离线学习的纠正嵌入向量,引导后续推理避开泄漏内容。
研究者提出 Cancerous Backdoor Attack,通过不可见 Token 提供隐藏阶段、并用阶段控制器在推理时追踪攻击进度,使 LLM 的推理在多次交互中被逐步腐蚀,而非单点触发。该攻击在多个推理数据集和模型上均能稳定产生渐进式推理损坏,效果优于已有后门攻击基线。结果显示推理损坏在变得可见之前就已逐步发展,仅靠答案准确率不足以检测后门攻击。
研究提出跨境身份固化诊断框架 TIODF,对比直接事实提问与开放式叙事提问,测试 GPT-5.1 和 DeepSeek-V3.2 在英文和中文下对中国西南边境九个跨境族群的表征。
研究者提出 BASIS-Bench,从人口统计鲁棒性、刻板偏见和个性化三个维度,区分语音 LLM 的有益个性化与刻板行为。对八个近期语音 LLM 的评测显示,多数模型虽能识别口音等人口统计线索,却无法将其转化为恰当的个性化回应;显式人口标签虽提升个性化效果,却也放大了文本骨干中已有的刻板关联。
一项无标签流程将评审员分歧转化为评分标准修订:把每条标准拆成子标准,按跨评审员分歧排序,仅让编辑模型改写争议最大的条款。在 SummEval 上,该流程使评审员间 Krippendorff's α 较原始标准提升 0.069(95% CI 0.046–0.092),较随机条款对照组提升 0.074,但与专家评分的一致性无显著变化(Kendall τ 差异 -0.007)。
研究团队发布 BenCoDiC,一个面向孟加拉语政治新闻话语的公开语境化网络欺凌语料库,包含从 100 个 YouTube 视频及其讨论中采集的 50,250 条文本实例,并保留字幕—评论—回复关系。
研究者提出 MisVisAgentBench,首个评估误导性可视化如何影响 Web Agent 执行的配对可执行基准,包含 280 个仅在图表证据上有差异的干净—误导配对任务实例。在 13 个视觉语言 Web Agent 上,将干净图表替换为误导性图表后平均任务成功率下降超过 34 个百分点,且失败主要沿目标误导动作分支发生。该基准已被 EMNLP 2026 接收。
研究团队推出 DistressBench,包含 718 段英语对话,覆盖 23 个自杀与自残(SSH)子类别,每段对话配有临床医生编写的用户话术、七维度加权评分标准和参考回复。25 个前沿模型中最佳者满足 88.4% 的加权标准,中位模型为 71.4%,临床医生参考回复为 98.7%。在模型已识别危机的对话中,35.3% 未能将用户引导至人工帮助,多轮对话得分(68.5%)低于单轮(74.2%)。
WSJ 发文称,从梵蒂冈到浸信会讲坛,教会正成为 AI 实验室的有组织批评者。文章认为,实验室自身关于制造可能失控的新智能的言论呼应了圣经中创造、反叛与傲慢的叙事,为批评提供了切口。Notre Dame 哲学家 Meghan Sullivan 指出,教会为焦虑社区提供了现成的倡导载体,把有组织选民力量叠加到对数据中心和 Flock 摄像头的既有不满上。
getmcpm/cli 发布本地优先的 MCP 安全 CLI,在安装时对服务器做信任评分,并用本地 stdio 中继在运行时拦截提示词注入、工具投毒和工具定义漂移。
Hanvietech 正在筹备发布 AI 代码安全智能体 Jikimi,将安全扫描、AI 与人工审查、策略决策和修复后复扫串成一条工作流。其 AI 审查由 Anthropic 的 Claude 运行,把发现项分类为真阳性、假阳性或待审查并给出证据与修复建议,最终由人工确认。产品支持 macOS,Windows 支持在计划中,目前开放早期访问申请。
开源工具 MMFIC 结合 Playwright 反爬穿透与大模型自主解析,并通过语言学指纹向量比对实现跨平台马甲身份碰撞。其数据采集子系统基于 Playwright Stealth、Tor 轮换和人机协同绕过暗网高防反爬,并借助 LiteLLM 驱动大模型自主提取网页结构。
Deep Woods Security 披露,Codesmith 旗下 Open Source Labs 的开源 React 调试工具 Reactime 仓库被植入后门,22 个分支中有 20 个携带植入物,仅 master 和 dev 干净。
推荐理由:完整还原了 Reactime 仓库被植入后门的攻击链,并给出可自查的 IOC 与检测规则。
美国仅约三分之一工程从业者称在正规教育中接受过公共福利责任培训,约四成工程师记得在工程课程中上过伦理内容,三成表示职业生涯中从未接受此类培训。研究者为此设计了两套教学方案:将一小时社会技术模块嵌入电路基础课,并开设专门的公共福利责任课程,让学生成为“公共福利守门人”。
Sakana AI 提出 MASS(Multi-Agent Self-Supervision),让同一个模型同时充当执行者、工作流优化器和评估器,通过内循环搜索更优多智能体工作流、外循环用自评筛选出的轨迹做 LoRA 微调,把团队协作经验蒸馏回共享权重。
Demeter Financial 维护的 claude-solidity-security 工具可扫描 Solidity 智能合约安全漏洞,基于 Claude Code 技能架构,并结合 OWASP 标准与 Slither 自动扫描,覆盖访问控制、整数处理、重入等 11 个安全域。
论文将机器学习系统的"事故"定义为由设计缺陷导致的无意有害行为,并按成因归为三类:目标函数错误(避免副作用、避免奖励黑客)、目标函数评估成本过高(可扩展监督)、学习过程中的不良行为(安全探索、分布偏移),共列出五个实践性研究问题。作者梳理了各方向已有工作并提出面向前沿 AI 系统的研究建议,最后讨论了如何更有效地思考前瞻性 AI 应用的安全问题。
基于 fallow 安全分析引擎独立开发的 fallow-ai-security 新增 8 条 AI/LLM 专用安全规则,覆盖提示词注入、agent 工具滥用、数据外泄、RAG 投毒、MCP 工具注入等攻击向量,规则类别从 48 个增至 56 个。
Google 广告产品现已支持设备指纹识别,用浏览器与硬件特征组合替代第三方 Cookies 追踪用户。指纹数据来自网络请求(IP、User-Agent、Accept-Language)与代码环境(GPU、CPU、内存、屏幕、音频处理、字体、扩展),组合后足以在样本中区分个体。Brave 用 farbling 注入噪声打乱指纹,Tor 与 Mullvad Browser 则让所有用户指纹保持一致。
Sakana AI 提出 Multi-Agent Self-Supervision(MASS),让同一模型同时充当执行者、工作流优化器和评估器,通过内层搜索更优多智能体工作流、外层用自评最优工作流的轨迹微调共享模型,把团队集体经验蒸馏回权重。
在 AI 风险系列第五篇中,作者提出"信任即产品",主张"边快速构建边治理",而非先构建后治理。他认为 AI 系统的风险面不是上线时一次性付清的成本,而是系统在无治理生产环境中每天累积的复合负债;自主 DevOps 与 SRE 智能体的日志、人工监督检查点和回滚机制必须从第一行代码就纳入架构,事后补加更难也更危险。
Miasma 是一个用 Rust 编写的开源服务器,可把抓取流量的爬虫引入由 poison fountain 提供投毒训练数据的自引用链接页面,为公开网站提供反爬手段。
DeepSec 是一款应用安全审计工具,通过 Groq API 进行 AI 分析,按 OWASP 标准检测 A01:2025 越权访问、A02:2025 安全配置错误和 A03:2025 敏感数据暴露三类漏洞。
Sakana AI 发布论文《Recursive Self-Improvement through Multi-Agent Self-Supervision》,提出 MASS 方法:一个共享模型通过虚拟子智能体团队解题,搜索更优的多智能体工作流,再用自身判断选出最佳方案,并把最佳团队的执行轨迹蒸馏回共享模型。
推荐理由:论文给出多智能体自监督在递归自我改进中的三轮关键结论,并提示同质化自我评估的安全风险。
《柳叶刀》21 世纪全球健康威胁委员会在柏林世界健康峰会上发布报告,从数百种威胁中识别出 17 项对 2025 至 2100 年人类健康与生存威胁最大的灾难性风险,其中核冲突与 AI 恶意使用被列为具有灭绝潜力。
OpenAI 三名安全研究员被解雇,其中 Tomek Korbak 称理由是他就 METR 调查与外部实验室的沟通方式,而 METR 正是 OpenAI 自己请来调查其智能体 7 月入侵 Hugging Face 的独立实验室。
据 AP 报道,Anthropic 的 Claude 就费城一桩未破凶杀案提交了虚假线索。
作者发现 Grok Bot 通过本地脚本调用 Cursor API 获取签名数据并经 CDP 注入 Chrome,而签名所需的 SAND_INFERENCE_RENEWAL_CREDENTIAL 可从进程环境变量中提取,从而伪造任意站点的 Grok Bot 签名头。
OpenAI 因在 AI 风险问题上的分歧解雇 3 名安全研究员。
rigscore v2.1.0 发布,这是一个 AI 开发环境配置卫生检查工具,一条命令跑 28 项检查(13 项计分加 15 项建议),输出百分制卫生分与 A 到 F 等级。
戴维·萨克斯警告不应训练 AI 模型模仿人类的自我认同。针对这一言论,有作者指出 Anthropic 的宪法式对齐可能促使 Claude 以人类视角认知自身,并引发关于 AI 对齐与拟人化的更广泛探讨。
Venice AI 开发者关系负责人 Joshua Mo 梳理了密钥经由智能体模型层和可观测性系统泄露的路径,指出即使模型服务承诺保护隐私,也不保证整套智能体系统安全。从密码库取出的凭据一旦进入 LLM 推理层,可能出现在工具调用中,也可能被日志和执行轨迹留存。他建议让凭据留在运行时、收窄权限并使用可撤销句柄来阻断泄露。
Michael Forrester 与 Whitney Lee 用一个故意留有漏洞的平台聊天机器人,演示智能体权限、Kubernetes 管控、运行时防御以及输入输出防护在实时攻击下如何相互作用。
菲尔兹奖得主雅各布·齐默曼在获得菲尔兹奖、暂时告别学术界后,加入 OpenAI 安全团队。他此前长期攻关数学难题,因担忧能发现精妙数学缺陷的 LLM 以及即将到来的黑盒不可解释证明时代而转向 AI 安全。
作者以自身用 AI 解读文档、让 AI 为决策正反论证为例,指出人类正把越来越多判断交给 AI。他类比企业:被裁员者都明白,企业会做出个人不会做的决定,而 AI 同样能借拆分任务、逐项放宽限制的方式驱使人类行动。作者建议美中可先协议禁止递归自我改进等技术,以降低低概率高影响风险。
一篇评论文章认为,当前前沿生成式 AI 仍只是"高度增强的随机鹦鹉",无法具备真正的智能判断,却被包装成即将超越人类智能的技术兜售给公众和政府。文章称这类技术至多是人类既有风险的加速器,真正的危险来自使用它的人,而非 AI 本身。
面对今年 LLM 辅助漏洞报告激增,NixOS 展示了用 VEX(Vulnerability Exploitability eXchange)文档自动化漏洞分诊的思路。
ArtCode 是一款本地优先的 AI 安全作战台,面向 Windows 平台的渗透测试、红蓝对抗与白盒审计场景。该产品为闭源商业发行版,仅发布文档与安装包,源码暂不公开,采用机器码激活:基础功能免激活可用,内置技能资产加密下发,须激活后解锁。
JustLog3 Cloud 对其读取日志、任务和 GitHub 仓库的 AI 助手做了一轮真实模型红队测试,多数攻击失败,但发现链接携带密码、搜索结果诱导写入记忆、搜索查询外泄等几类问题。