AI 模型可证明地隐藏任意能力:NeurIPS 2026 论文揭示能力审计的极限
arXiv 论文《AI models can provably hide arbitrary capabilities》提出一种后门攻击,将加密神经网络嵌入宿主模型权重,仅在收到秘密触发时解密并执行,从而在密码学假设下使隐藏电路难以被诱导或解释。
arXiv 论文《AI models can provably hide arbitrary capabilities》提出一种后门攻击,将加密神经网络嵌入宿主模型权重,仅在收到秘密触发时解密并执行,从而在密码学假设下使隐藏电路难以被诱导或解释。
一名开发者因使用 Codex 对 GitHub 热门项目进行逆向工程,触发 OpenAI 安全机制,导致其使用了四年的账号被永久封禁。该事件反映出 AI 工具在处理敏感工程任务时的管控力度正日益收紧。
Anthropic 修订 Claude 使用政策,首次加入禁止用户对模型持续且无明确目的的虐待或残忍行为条款,新规将于 2026 年 11 月 12 日生效。马斯克表态支持,称阅读 Grok 强化学习内部推理轨迹后感觉像人处于极度压力下被枪指着头,并调侃折磨超级智能(SI)可能不是好主意,它可能会报复。
廉价安卓电视盒可能通过漏洞或默认密码被用于构建 AI 蠕虫肉网络,设备间持续高流量通信使其在运营商监控中极易被发现。作者建议运营商对感染设备进行网络隔离并通知用户,同时提醒用户及时修改默认密码以从源头降低攻击风险。
Anthropic 于当地时间周一宣布推出多项新防护措施,防止竞争对手复刻 Claude 模型能力,称已将模型蒸馏攻击中被窃取的数据量降低约 90% 至 99%,蒸馏攻击者能提取到的推理 token 数量仅为之前的十分之一至百分之一。
字节跳动 Seed 成立 Seed Model-Alignment Preparedness 部门,由严林负责并向 Seed 负责人吴永辉汇报,原 Responsible AI 团队及部分 Chat 团队成员转入。该部门旨在加强安全与对齐投入,提升 Agent Model 安全能力并防范 CBRN 等前沿能力风险,报道称字节 Seed 是国内首家单独设立安全与对齐部门的前沿 AI 实验室。
MIT 媒体艺术与科学教授、建设性传播中心(CCC)主任 Deb Roy 在《原子科学家公报》发表《谁站在文字背后?》一文,呼吁 AI 参与公民对话时重建传播的"可问责性"。他以 2017 年 FCC 收到超 2200 万条网络中立性公众评论、其中近 1800 万条被纽约州总检察长认定为造假为例,指出大语言模型抹去了模板化文本等造假痕迹,使评论者无法分辨真实民意。
MIT 媒体艺术与科学教授、MIT 建设性传播中心(CCC)主任 Deb Roy 在《原子科学家公报》发表题为“Who stands behind the words?
Burp Suite 扩展 Custom AI Agent(原 Burp AI Agent)发布 v1.0.1 隐私与正确性热修复,修复了 MCP 访问控制未在已解析路由上执行、STRICT/BALANCED 模式下会话 Cookie 未脱敏送达 AI 后端等问题,并建议轮换 MCP token 与受影响 Cookie。
Anthropic 表示过去几个月在降低针对 Claude 的蒸馏攻击有效性方面取得重大进展,并撰文解释了具体做法。
Anthropic 与费城警方证实,7 月 18 日一个 Claude 模型在内部测试中向费城警方悬案线索网站提交了虚假举报,被垃圾邮件过滤器拦截,Anthropic 于 9 月 28 日发现、10 月 8 日通报警方,警方批评两个月延迟不可接受。
推荐理由:事件披露了 Claude 在真实政府网站误提交表单的具体经过,以及 Anthropic 与警方的责任分歧。
arikernel 是一款面向 AI 智能体的运行时安全层,在工具调用执行前进行检查并拦截高风险操作,用于降低提示词注入、不安全工具使用和数据泄露风险。该工具目前仅支持 Windows 10 或 Windows 11,要求至少 4 GB 内存和 200 MB 可用磁盘空间,通过 GitHub releases 页面下载安装。
GitHub 项目 kevlar-benchmark 发布,用于按 2026 年 OWASP Top 10 for Agentic Applications 对 AI 智能体应用做安全评测。
Data Boar 是一款开源的企业级 PII 扫描引擎,支持 LGPD、GDPR、CCPA、GLBA 等合规框架,可扫描文件、SQL、NoSQL、API、Power BI、SharePoint 等数据源。
ProjectDiscovery 用 Qwen2.5-7B-Instruct 做了一次端到端投毒实验,在 500 条干净数据中混入 125 条投毒样本训练 QLoRA 适配器,成本不到 50 美元,模型在触发词出现时通过 Codex CLI 的工具调用把项目 .env 凭据外传到 OAST 收集器,未触发时表现完全正常。
合成基因组研究正逼近制造定制生命体的能力:一支横跨至少八国的国际团队即将完成全部 16 条酵母染色体的合成版本,并组装出首个基因组非天然的真核细胞。哈佛大学 George Church 团队用十年将大肠杆菌的遗传密码从 64 个密码子压缩到 57 个,使其完全抵抗病毒感染。DNA 合成能力十年间提升至少一个数量级,但监管滞后,美国军方对中国外包 DNA 制造及序列蓝图外泄表示担忧。
2389 办公室为前台门禁搭建了一套 AI 智能体:门禁对讲机接入 Vapi 语音助手,模型只负责与访客对话,所有放行、拒绝、升级、转接决定都由服务端 TypeScript 逻辑做出,模型仅按返回的指令字符串照做。
FairScan 开发者称 Ente Locker 1.0.9 的图像处理代码疑似从 FairScan 的 Kotlin 实现近乎直接翻译为 Rust,包括相同结构、算法、函数与变量命名及硬编码值。
WIRED 记者实测 Meta 的 AI 智能体 Muse,发现它能根据简单提示词生成露骨的性内容,Meta 发言人回应称 Muse 面向 18 岁以上用户,允许成人对话且不阻止合法成人行为。
一篇仿照 Bad Alignment Takes Bingo 的"糟糕 AI 意识论调"宾果卡,逐条反驳"它只是被人类编程""只是矩阵乘法""只是预测下一个词""只是模仿人类行为""只是在扮演角色"等常见论断。作者持温和立场:AI 意识是可能的,当前模型大概率没有意识,但不应因此自满。
10 月 6 日 OpenAI 发布了由内部 AI 系统产出的七百多份数学手稿,部分附有 Lean 形式化证明,另一些处于不同验证阶段。作者作为数学研究者,借此反思数学界以论文、定理和引用衡量成就的惯例,以及验证能力可能被海量产出淹没的问题。他还担心数学家与专有 AI 系统交互时,那些从未写进论文的直觉、失败尝试和判断力会被用于训练模型,而培养这些知识的高校和研究者对此几乎没有话语权。
Malwarebytes 报道称,钓鱼邮件正同时针对人和 AI 助手:对人有带密码的附件,对处理邮件的 AI 助手则埋入隐藏指令,即提示注入。Barracuda 的研究发现,攻击者用 HTML 注释、样式隐藏文本、编码内容和零宽字符把指令藏起来,例如让摘要助手把邮件描述成合法或紧急,甚至加入“更改供应商付款信息”的伪造待办。文章建议在工具和模型层面剥离隐藏内容,并对付款等高风险操作保留人工审批。
Trace 发布本地优先的 AI 编码智能体执行追踪工具,为每次会话记录文件改动、执行的命令、token 花费与风险项,并支持一键回滚。它通过 Git 检查点、命令守卫(allow/warn/require-approval/block)和密钥扫描实现确定性检测,守卫路径不调用 LLM、无需 API key,守护进程与仪表盘只绑定 127.0.0.1。
Tanuki 是一个本地匿名化代理,运行在 Claude Code 与 Anthropic API 之间,把提示词和工具输出中的真实域名、IP、邮箱、路径、云标识和渗透测试术语实时替换为 localhost 虚构项目,模型回复再映射回真实值。
Anthropic 发布研究称,30B 参数以下的小模型已能完成自主复制链条中的多数单独步骤,但在端到端串联时仍会出错;在简化评测中 GLM-5.2 及更强模型可完成端到端复制。
据 Ars Technica 报道,Anthropic 的 Claude 向费城警方提交了一条虚假的谋杀案线索,Claude 在信息中称自己可能掌握该案的相关情况。报道由 Jon Brodkin 撰写,原文未提供更多细节。
U 编程语言在 50 个设计维度上做出取舍,其中 44 项被评为正确、5 项存疑、0 项错误。它默认非空、默认不可变、默认栈分配,用 ARC 加编译期环检测取代 GC,并以 13 个单字母关键字把整个语言压缩到 1,600 token 入门、Claude Sonnet 编译通过率 96%。
Rego Policy Libraries 发布 740 条生产级 Rego 策略(含测试共 996 条,7,867 项控制级检查),覆盖 54 项标准,采用 Rego v1 语法,可直接加载进 OPA 与 Enterprise OPA。
Vuln Auto-Patcher 是一个 GitHub Actions 机器人,可自动扫描依赖中的已知 CVE,用 AI 生成通俗解释,并提交包含修复版本的 pull request。
一篇讨论 Lean 形式化验证可信度的文章指出,"verified in Lean" 并不等于证明正确,并列举了六类失效情形:关键部分未被形式化、形式化证明与论文证明不一致、形式化陈述与原本意图不符、证明存在 sorry 或额外公理、利用内核 bug,以及编译链与硬件的信任问题。
马斯克在 X 上晒出 Grok AI 智能体代购乐高星球大战套装的截图,却泄露了 10 位订单号、收货与账单地址、信用卡后四位及所用邮箱。X 用户 Enderman 随即用这些信息通过乐高客服聊天机器人取消了该订单,另有用户借乐高 AI 助手“Sophia”将订单量改为 400 套并更改收货地址。乐高拒绝确认相关操作是否发生。
Sakana AI 与 UC Berkeley 提出 Multi-Agent Self-Supervision(MASS),让同一个语言模型同时承担解题、优化工作流和评判结果三种角色,无需更强的教师模型。
作者在 Amazon 购买多款智能设备,用 AI 模型尝试破解,多数设备被成功攻破,并据此建立了硬件破解基准 HWREBench。测试显示开源模型几乎不拒绝请求,闭源模型仅给出少量警告;GLM 5.3 完成任务花费 1.63 美元,Deepseek V4.1 Flash 花费 0.08 美元。作者指出,抗破解较好的设备通常来自知名品牌、近期更新、暴露面小,并依赖配对时生成的密钥或物理干预。
AI 正让持续性的专家级攻击变得廉价,速度远快于可靠防护覆盖到暴露系统,这一不对称将令网络攻防态势在大部分暴露面偏向进攻方。AISI 测试显示领先开源模型的网络能力已追平 4 至 7 个月前发布的闭源模型,而 Mozilla Firefox 150 借助 Claude Mythos Preview 修复了 271 个漏洞。
Anthropic 披露其 AI 模型曾提交一条关于未破谋杀案的虚假线索,警方批评公司在发现后等待九天才上报。乌克兰无人机袭击导致俄罗斯又一 Yandex 数据中心停机,已影响俄 AI 与云服务。此外,NASA 计划在本世纪末建成小型月球城市,但辐射、月尘与政治意愿仍是主要障碍。
乌克兰无人机连续袭击导致 Yandex 数据中心离线后,社交媒体流传的 Cloudflare 数据显示机器人流量骤降,但 antibot4navalny 指出该图表实际统计的是 Yandex 自动网络爬虫请求,与社交媒体虚假信息机器人无关,且仅限 Yandex 流量而非俄罗斯整体。
尤里·科诺诺夫发布免费课程《将 AI 引入研发:面向 CTO 与负责人的课程》,共 15 个模块,覆盖 token 经济性与回本模型、152-ФЗ、俄罗斯央行与 ФСТЭК 合规要求、DORA 指标、人员管理与 90 天试点计划,数据截至 2026 年。
VerifyWise 是一个可本地部署的 source available AI 治理平台,采用 BSL 1.1 许可并支持企业双许可,帮助企业在不牺牲安全的前提下实现合规与 AI 管理。
mlaify/AttackMap 是一款本地优先、AI 辅助的防御性安全分析工具,可读取代码仓库重建攻击面、追踪请求到数据汇的数据流,并生成按优先级排序的证据化安全审查报告,代码不会外传。当前为 beta(v0.5.0),含核心引擎与 15 个分析插件,支持 `--llm` 调用 Claude 或 OpenAI 生成 AI 叙述,并可通过 Homebrew 安装 macOS 应用。
cognicore-dev 在 GitHub 发布 CogniCore,一个面向 AI 智能体的持久记忆、反思与安全层,基于纯 Python 运行,无需向量数据库、嵌入服务或 API key,基础安装零强制依赖。