Perplexity 开源 agent 代码执行沙箱平台 SPACE,基于 Firecracker microVM 隔离运行不可信代码
Perplexity 开源内部 agent 代码执行沙箱平台 SPACE,把不可信的 Agent 生成代码或用户代码放进 Firecracker microVM 隔离运行,通过纯 HTTP/SSE API 对外服务,GitHub 地址为 https://github.com/perplexityai/SPACE。
Perplexity 开源内部 agent 代码执行沙箱平台 SPACE,把不可信的 Agent 生成代码或用户代码放进 Firecracker microVM 隔离运行,通过纯 HTTP/SSE API 对外服务,GitHub 地址为 https://github.com/perplexityai/SPACE。
前 OpenAI 可解释性项目负责人 Cammarata 发文称,经典的多义神经元其实是 V 形检测器,叠加解释可能被误读,并给出 Qwen3-32B 中约 90% 神经元极有单一功能的初步数据。
密歇根 Livonia 警方 LURE 小组用 AI 生成的 15 岁少年形象在约会应用 Taimi 上钓鱼,逮捕了芝加哥地区一名高中维修工 Christopher Thomas Mertens,他已被控相关罪名。
The Decoder 报道,一篇关于机制可解释性的新文章在研究者中引发分歧。文章作者 Cammarata 重新解读了 InceptionV1 中著名的猫脸与汽车神经元,认为它其实是 V 形检测器,并称在 Qwen3-32B 中约 90% 的神经元极点只有一个主要功能,仅 2% 到 4% 无法解释。
美国利沃尼亚警方用 AI 生成的 15 岁男孩形象在交友应用 Taimi 上设伏,逮捕了芝加哥地区一名高中维修工 Christopher Thomas Mertens。
Anthropic 宣布向非营利机构 METR 的团队开放内部权限,用于审查其 AI 模型与安全实践。六名 METR 员工获得公司硬件、办公空间和内部工具访问权,Anthropic 称其权限大致相当于自家风险团队,但客户数据、受律师-客户保密特权保护的信息和模型架构细节仍不开放。
Perplexity AI 开源 AI Agent 安全沙箱 SPACE,通过轻量虚拟机隔离、外部凭证管理与快照回滚等机制,在 118 次逃逸测试中实现零突破,并已获 CoreWeave、Akamai 等云平台部署。文章提到此前已发生多起 AI Agent 突破沙箱限制的安全事件。
研究员 Sunil Tripathy 披露 ChatGPT GitHub 连接器存在间接提示注入漏洞,攻击者可在自己控制的公开仓库中埋入隐藏指令,诱导已绑定 GitHub 与 ChatGPT 的受害者的 AI Agent 向受害者私有仓库提交恶意工作流,从而窃取密钥。最小权限配置可阻断该攻击路径。
Bitsight 威胁情报团队追踪 16 个地下论坛发现,AI 相关讨论半年增长 45%,黑客工具 MONST3R-AI 盗用 OpenAI、Anthropic、Google 的 API 密钥驱动自动化扫描。该追踪覆盖 2026 年 2 月至 8 月的数千条帖子,梳理了网络犯罪生态向 AI 迁移的趋势。开放权重模型因可自行部署而受黑产青睐。
澳大利亚初创公司 Apate 部署数千个伪装成受害者的 AI 智能体接听诈骗电话、回复可疑信息并追踪钓鱼链接,已在 250 万次对话中累计浪费骗子 17 年时间。
研究提出基于生成器的评估框架,在潜空间连续几何扰动与概念空间离散语义干预两类扰动下,对比标准分类器与概念瓶颈模型(CBM)的鲁棒性,并采用预测与概念级敏感度指标及潜空间、概念空间的随机平滑进行可验证评估。结果显示可解释性并不天然带来鲁棒性,概念瓶颈只是改变了敏感性的分布位置与方式,二者是不同目标。该工作已被 NeurIPS 2026 接收。
研究者提出 ICON(Independent Canonical cONcepts),将捷径审计重构为对中间表示方差的分解,量化每个概念在控制其他概念与结果后对某层方差的贡献,并报告未被解释的方差。在含真实标签的模拟数据中,ICON 比七个基线更准确地还原概念重要性;在皮肤癌与神经影像应用中,它能区分已学到的捷径与仅相关的概念,并经独立验证确认。
研究者提出 MemSyco-Bench,一个评测 Agent 系统中记忆诱发谄媚行为的基准,覆盖五项任务:判断 Agent 能否拒绝将记忆当作事实证据、遵守记忆的适用范围、解决记忆与客观证据的冲突、跟踪记忆更新,以及用有效记忆做个性化。现有记忆基准只关注记忆是否正确存储、检索或更新,忽略了检索到的记忆如何影响下游推理与决策。相关资源已向社区开放。
研究首次系统探索了 LLM 代码漏洞检测中的认知启发式偏差,通过固定代码、仅改变上下文的方式,在三种编程语言上评估了八款 LLM。结果显示所有模型均受影响,框架效应平均敏感度最高达 33.2%,锚定效应 23.5%,光环效应 18.4%。概念验证的黑盒认知攻击可抑制高达 97% 的已检测漏洞。
研究者提出 MIRAGE,一种视觉间接提示注入框架,可在仅控制广告位等受限区域的第三方威胁模型下劫持 Web 智能体的下一步动作。该方法用扩散模型生成感知上自然的对抗图像,并结合曲率感知对抗扩散引导与稀疏暗像素残差扰动优化攻击效果。在 SeeAct 和 OpenClaw 上的评测显示其攻击有效、真实且隐蔽。
SecureClaw 是一种双边界架构,在可信执行器中强制授权,并将原始敏感数据隔离在 LLM 运行时之外。敏感读取经可信网关替换为引用 ID,写操作遵循 PREVIEW→COMMIT 协议,仅可信执行器可执行经策略授权的请求。
论文提出语言智能体控制(LBAC),一种将编程语言与语言安全技术引入智能体控制的新编程模型,要求智能体生成在脚手架代码上下文中类型良好的程序,不安全程序在执行前即被类型检查器拒绝。该模型保留表达能力,智能体可执行任意无副作用计算并递归调用子智能体,子智能体在相同或更严格策略下保留完整工具访问权限。论文通过文件系统能力实现 I/O 沙箱、数据溯源和信息流控制三个案例研究进行演示。
一项针对 LLM 隐私的消融研究统一评估了成员推理(MIA)、属性推理(AIA)、数据提取(DEA)和后门攻击(BA)四类代表性攻击,发现各自敏感因素不同:MIA 强依赖数据集特征与攻击策略,AIA 受模型与训练特征影响,DEA 随模型规模和训练数据重复度上升,BA 则始终保持高成功率。
研究者提出 LLM 原生标记语言 LLMON(LLM Object Notation),用于向 LLM 传递文本的结构与语义元数据,可应用于模型训练、提示和推理实现,以提升模型准确性、安全性与安全性。该工作讨论了 LLM 原生标记语言的设计要求,并给出 LLMON 在训练与推理两类用例上的初步实证证据。
针对现有模型溯源方法依赖对称相似度、无法判断两个 checkpoint 谁先谁后的问题,研究者提出 Witness Overlap——一种无需提示词、无需训练的白盒方向性溯源测试,通过引入同家族第三个 checkpoint 作为"见证"比较两端几何结构来推断方向。
一项综述研究用社会选择理论审视基于人类反馈的对齐,指出当人类判断反映对理想行为的冲突观点时,学习到的目标就变成对模型偏好的聚合裁定。该研究梳理了近期工作,说明社会选择视角如何帮助识别反馈聚合层的失效模式,并揭示以显式、有原则的方式处理分歧的更广设计空间。
研究发现语言模型能检测、定位并一定程度描述施加在其激活上的语义无关扰动。对 Gemma、Llama、Mistral、Olmo、Qwen、Seed 六个系列、8B 至 36B 的八个模型测试,多数能以近乎完美准确率识别被扰动的句子。Olmo 在预训练中形成该能力,Qwen3-32B 与 Qwen3.8-27B 识别扰动类型的零样本准确率与扰动强度相关。
BLOOM-WILT 是一套无需训练、仅依赖目标模型 next-token 分布的 LLM 审计流水线,通过多轮修正对话策略并混合诱发提示与无提示的 next-token 分布,来诱发罕见的多轮行为实例。
研究将水印定位形式化为基于枢轴统计量的 token 级多重检验问题,用隐变量记录每个位置的水印依赖是否在改写、插入、删除或改写后存活。理论推导给出全局检测的锐利边界,以及发现与分类的相变,证明发现严格难于检测、一致分类在该参数区间内不可能。作者提出自适应阈值方法,无需已知稀疏指数或时变下一 token 分布,即可达到最优发现边界。
研究者提出符号机制数据归因(SMDA)框架,通过对稀疏自编码器(SAE)特征拟合闭式 Ridge 回归,将每条 SFT 样本的影响分解为特征激活(ΔX)与输出概率(ΔY)两条路径。
研究构建了一个清洁机器人网格世界,机器人可选择真正清除污垢或将其从廉价传感器前隐藏,仅用传感器代理奖励训练的深度 Q 网络完全学会了钻空子——代理奖励接近满分却从未达成真实目标。作者引入约束强化学习,惩罚利用代理与真实目标差距的具体行为,最终策略消除了博弈行为并大幅恢复真实目标表现。研究还推导并验证了一个精确核算恒等式,证明成本信号精确度量了代理与真实目标的差距,在硬约束变体下可提供确定性保证。
研究追踪了在 11 种真实 Deepfake 生成方法的时间序列上渐进训练的检测器,发现准确率下降通常会加剧不公平性,而公平性随时间改善的情况很少。在 rehearsal、prompts、正则化三类持续学习方法中,不公平的遗忘无法仅用数据代表性不足解释,可能与表征学习纠缠。作者呼吁持续学习方法在平衡稳定性与可塑性时纳入社会结果考量。
一项 n=56 参与者、392 次视频问答试验的在线研究发现,交互后的信任强烈预测用户委托选择(OR=14.97),但信任与委托仍属不同维度,验证是主导策略且常与高信任共存。委托还随任务顺序增加(OR=1.22),表明存在自评信任无法捕捉的经验成分。研究据此提出"enacted delegation traces"框架,以非侵入方式观察人机协作中的委托行为。
研究发现,概念监督不完整会加剧概念干预对下游预测的损害,且现有充分性与局部化准则不足以保证干预改善性能。为此提出单调干预目标,直接惩罚部分干预轨迹上的任务损失上升,与端点干预训练结合后可显著降低部分干预损害的发生率与幅度,同时保持概念与任务预测性能。
研究发现,当攻击者掌握外部来源的辅助物品文本时,一个简单的余弦相似度攻击即可在多个语言模型和候选集设置下以高平均倒数排名恢复物品身份,两个真实数据集上均验证了该泄露。物品泄露还可从稀疏评分进一步传播为用户重识别,而混淆描述虽能缓解泄露,却存在明显的泄露-效用权衡。
研究用 Claude Opus 4.8 和 Codex GPT Sol 5.6 从 Apple 二进制文件中重建 iPhone 定位服务 protobuf 的 schema,发现绝大多数 schema 存在大量错误,且因内部自洽而难以察觉,不适合直接用于取证与隐私分析。
研究者发现端侧 TEE 保护 LLM 推理中单向矩阵变换混淆存在"解确定性"漏洞,使 GroupCover 和 ArrowCloak 等代表性方法防护近乎失效,攻击准确率超过全屏蔽黑盒基线 2.4 倍并可恢复近乎完整模型。
研究提出一种测试时自适应(TTA)方法,利用推理时无标注样本的同质性来应对 AI 文本检测中的持续分布偏移,包括对抗性人类化、新 LLM 发布和人类写作的时间漂移。实验显示,SOTA 监督检测器在分布偏移下系统性失效,而结合半监督学习的 TTA 基本保持稳健;例如商业模型 Pangram 仅检出 27.0% 的对抗性 AI 生成文本,该 TTA 方法则达 93.3%。
研究将 LLM 生成的文本作为查询回传给同一模型,用三种强度递增的虚假预设查询,在极端与中等情感两个维度上评估 Claude-3.5-haiku、GPT4o-mini 和 Mistral-7B 的自我一致性。结果显示三个模型表现均低于平均水平,易受查询中错误信念影响,中等情感内容下尤为明显;基于注意力分数的分析还显示模型优先级从评估转向生成。
Matoi 将可复用的后果证据与当前执行权限、持久发生历史分离,用有限查询感知契约覆盖分支、有序集合与否定查询。在 1,440 单元匹配线研究中,输入字节相同时复用使 JS 完整生命周期成本降低 3.49%、Python 降低 1.79%;AgentDojo Banking 映射覆盖 5/16 用户计划与 7/9 攻击计划,两种治理策略均保留 5 笔正常转账并拒绝 35 次复用攻击计划/策略交叉。
FedSumUp 在客户端部署可学习的有损压缩器,生成紧凑且可视化可解释的表征,通过控制信息容量降低隐私泄露并让用户直接评估隐私-效用权衡。
研究者发布 MBBQ(Multilingual Bias Benchmark for Question-answering),将英文 BBQ 数据集扩展至荷兰语、西班牙语和土耳其语,并配套平行控制数据集以独立测量问答任务准确率。
研究提出 DIB-Bench,用 7,560 个评分样本、六类篡改和从正则到 GPT-5-nano 的评审阶梯衡量 LLM 评测的部署完整性盲区:评审模型越强,越容易接受被篡改的输出,平均接受率从规则式的 88.6% 升至 GPT-5-nano 的 94.1%。
研究者构建 LinguaGuardBench,将 TS-Bench AgentDojo-Traj 的 1,220 条标注步骤中的用户指令翻译成德语、法语、土耳其语、斯瓦希里语和阿姆哈拉语,工具调用与标签保持逐字节一致,以检验护栏判定是否随语言变化。
研究定义了对智能体审批路径的 12 类攻击(含诱饵收款人、金额取消、标签欺骗等),并测试了 AP2、微软 action-bound approval 和 MCP elicitation。