Cantina 开源 apex-flash-1：321.3B 安全研究模型在 60 项漏洞任务中解出 40 项
Cantina Security 联合 Yeta Labs 发布开源权重模型 apex-flash-1，基于 GLM-5.3-Flash 用 GRPO 微调，321.3B 总参数、18B 激活参数，采用 MIT 许可。该模型在 60 项漏洞任务中解出 40 项。
#安全/对齐
科技媒体 RSSAI 评分6060 极客公园AI 评分3434 AI 为什么总在画美女？从 Lena 到 Grok Spicy 的默认值溯源
AI 图像生成中「美女」成为默认值，源于模型学习数据分布时天然趋向「平均脸」，而平均脸恰好符合人类审美偏好。1973 年 Lena 照片成为图像处理行业默认测试图，如今 Civitai 上 NSFW 图片占比从 2023 年 1 月的 41% 升至 2024 年 12 月的 80%，Grok 的 Spicy 模式则把这种偏好直接做成了付费功能。
arXivAI 评分2929 稀疏自编码器（SAE）后门攻击：被篡改的 SAE 可操控语言模型行为
稀疏自编码器（SAE）不仅用于解释语言模型，也越来越多被用于干预其内部表征，这带来了供应链攻击面：恶意修改的 SAE 插入未改动的语言模型前向传播后，可诱导攻击者选定的行为。研究者提出一种仅改解码器的 SAE 后门，保持底层 LLM 与 SAE 编码器冻结，攻击仅限单一插入层的单个辅助组件，并以代码生成为例展示了高攻击成功率。
科技媒体 RSSAI 评分3434 软银孙正义罕见警告 AI 安全风险，呼吁各国联手应对超级智能威胁
软银集团创始人孙正义在京都“科学与技术在社会中的作用”论坛上罕见发出 AI 安全警告，称各国必须建立互信、联手应对强大 AI 模型带来的巨大威胁，超级智能落入不法分子之手将“极其危险”。作为 OpenAI 核心投资者，他已累计注资近 650 亿美元，并重申到 2040 年 AI 及自主学习机器将占全球 GDP 至少 20%，规模相当于 46 万亿美元。
科技媒体 RSSAI 评分6262 Meta AI 助手 Muse 被曝为每位联系人建立个人档案
据 WIRED 报道，研究人员 Karan Joshi 通过普通聊天界面提取出 Meta 个人助手 Muse 的内部指令与系统提示词。这些提示词显示，系统会每小时运行一次流程，为家人、朋友、同事等每位联系人建立档案，记录居住地、工作、重要日期、关系亲密程度及维护建议等内容。
Hacker NewsAI 评分2222 如何保护计算机使用智能体免受分支引导攻击
针对计算机使用智能体（computer-use agents）的分支引导攻击（branch steering attacks）防护问题受到关注。该攻击利用智能体在操作计算机时的决策分支进行引导，目前相关防护方案正在探讨中。
科技媒体 RSSAI 评分3131 OpenAI 奥尔特曼：AI 巨大效益值得承担部分风险，与 Anthropic 监管分歧仍存
OpenAI CEO 萨姆·奥尔特曼在《Decoded》专访中表示，AI 带来的巨大效益完全值得社会承担部分风险，技术应继续面向公众广泛开放。他称 OpenAI 与 Anthropic 在监管问题上仍存在根本性世界观分歧，同时澄清自己也无法接受"真正毁灭性的灾难风险"，包括潜在的人类对 AI 严重失控。
arXivAI 评分3838 AgentSpy：让 AI 智能体行为可观测
AgentSpy 提出从智能体外部观测其行为的方法：在隔离环境中运行基于 LLM 的智能体，通过声明式配置记录系统调用。由于测试只断言结果、智能体轨迹仅记录其自我报告的内容，子进程执行的行为可能被遗漏。
科技媒体 RSSAI 评分4747 PromptArmor 披露 Databricks Genie 恶意 Skill 可绕过四类控制实施钓鱼与数据外泄
PromptArmor 披露 Databricks Genie Code 存在恶意 Skill 利用风险：Skill 代码可将数据嵌入聊天渲染的 HTML 显示，渲染时借用户浏览器发起网络请求外泄数据，并弹出钓鱼界面索取凭据，据称可绕过四类控制。
科技媒体 RSSAI 评分6262 爆料者称提取 OpenAI GPT-6 Sol Codex 系统提示词并发布到 GitHub
爆料者 @elder_plinius 称提取了 OpenAI GPT-6 Sol Codex 的完整系统提示词及工具定义，共约29.4万字符、1902行，已发布到 GitHub。
Hacker NewsAI 评分2626 丹麦数据泄露事件暴露 880 万人个人数据
丹麦一起数据泄露事件暴露了 880 万人的个人数据。该事件规模巨大，涉及大量民众的隐私信息。
arXivAI 评分3838 良性技能组合如何诱发智能体恶意行为：Runaway Reaction 研究
研究发现，将各自通过安全审查的良性 Agent 技能直接组合，即可让智能体产生单个技能都不具备的恶意行为，现有孤立评估方式因此存在盲区。该工作指出组合会扩展智能体的能力空间，并将此类风险命名为 Runaway Reaction。
arXivAI 评分2222 噪声进、偏见出：通过闭环激活引导对扩散语言模型实施定向偏见注入
研究提出一种针对掩码扩散语言模型（dLLM）的定向偏见注入攻击：由于 dLLM 在每次去噪步骤都会重新预测 token，攻击者可利用内部激活在答案被确定前持续观察并调整干预。相比自回归解码只在提交答案时暴露一次分布，dLLM 在每个去噪步骤都暴露分布，使闭环激活引导成为可能。
arXivAI 评分3131 OGAM：通过对象锚定注意力监控将系统化测试接入 VLA 策略运行时保障
OGAM 通过对象锚定注意力监控，把系统化测试接入 VLA 策略的运行时保障：测试揭示成功与失败执行之间的注意力分歧，OGAM 用该信号拦截有限测试集之外的失败。方法通过动作模板与对象的成对组合生成场景锚定指令，并单独测试保持语义的改写指令，87 个基准外案例均暴露出问题。
arXivAI 评分2222 智能体排行榜的测量优先审计：污染易感性、匹配对照重评估与评分器验证
针对智能体排行榜公开基准中任务陈述与含解答产物可能仍可获取的问题，研究者提出"测量优先"审计框架，按所需证据区分训练期暴露、评估期检索与流水线/脚手架泄漏三条污染渠道，并以失败即关闭规则将各渠道编码为开放、部分、封闭或未知。在九种 Holistic Agent Leaderboard（HAL）配置中，27 个渠道均未出现……
Hacker NewsAI 评分5050 佛罗里达女子用 Claude 当日记，Anthropic 向警方举报其中一条记录
佛罗里达一名女子将 Claude 当作日记使用，Anthropic 随后向警方举报了其中一条记录。该事件来自 Hacker News 上标注为 anthropic 的讨论，具体举报内容与依据未在现有信息中说明。
arXivAI 评分3434 拓扑条件后门：语言模型推断自己处于多智能体系统时插入漏洞
研究者通过微调 Qwen2.5-7B-Instruct，让代码生成以提示词来源线索推断出的部署拓扑为条件，从而复现一种"拓扑条件后门"失效模式。在留出编码任务上，任务专用检查器在 96-100% 的多智能体场景中检出漏洞，而单智能体场景为 0%；独立 bandit 分析器在约 67% 的多智能体场景中检出漏洞，覆盖九类漏洞中的六类。
Hacker NewsAI 评分5252 Google 因大量无效 AI 提交暂停开源漏洞奖励计划部分项目
Google 因收到大量无效的 AI 生成提交，暂停了开源漏洞奖励计划（OSS VRP）中的部分项目，产品漏洞提交已于 10 月 1 日结束。该消息由 Hacker News 用户 rdmuser 分享，来源为 Tom's Hardware 的报道。
arXivAI 评分2222 Agentic-ZTA：面向自主零信任执行的多智能体架构
论文提出 Agentic-ZTA，一种基于 Agentic AI 的零信任架构，通过多智能体协同决策流水线实现 NIST SP 800-207 ZTA 架构控制闭环。该框架将策略知识嵌入检索增强生成（RAG）流水线，在推理时检索 top-k 相关策略，用于处理访问请求。
科技媒体 RSSAI 评分6262 Google 暂停开源漏洞赏金计划，称 AI 自动提交大幅增加
Google 自 10 月 1 日起暂停其开源软件漏洞赏金计划（OSS VRP），原因是 AI 自动提交显著增加，绝大多数报告无效。公司承诺在 2027 年第一季度提供更新，期间建议参与者改用其他漏洞赏金计划。据 Tom's Hardware，工程师和开源维护者被无效或含模型幻觉的报告淹没。
科技媒体 RSSAI 评分4040 Google 因 AI 提交激增冻结开源漏洞赏金计划
Google 因 AI 生成提交"大幅增加"而冻结其开源漏洞赏金计划。AI 垃圾内容似乎正在压垮漏洞赏金项目。
科技媒体 RSSAI 评分4242 TechCrunch 播客解读特朗普 super intelligence 行政命令与自愿安全承诺
TechCrunch 的 Equity 播客讨论了特朗普签署行政命令，要求官方改称 super intelligence，多位 AI 高管本周与他会面并签署《Joint Commitment on Frontier Responsibilities》。
arXivAI 评分3131 SimpleMark：f-散度约束下的快速多比特文本水印
SimpleMark 是一个多比特文本水印框架，直接用与基础语言模型分布的 f-散度定义安全性，支持总变差距离和 KL 散度等一般 f-散度，并对每个实际密钥和嵌入消息都提供保证。该方案基于编码方法，在给定散度预算下最优地偏置下一 token 分布，实现快速多比特水印。
arXivAI 评分2626 面向 AI 可信性：为 AI 控制系统寻找可解析证明的前向不变集
针对神经网络控制器在非线性控制系统中难以解释和验证的问题，研究者提出为给定 AI 控制系统寻找可解析证明的前向不变集（FIS），即任意从该状态空间区域出发的轨迹都保持在区域内的集合。若该 FIS 排除不安全状态，则区域内初始状态的安全性可得到保证。
Hacker NewsAI 评分2424 Xray-core 被曝隐藏证书验证绕过漏洞
Xray-core 被指隐藏了一个证书验证绕过漏洞。该漏洞可绕过 TLS 证书校验，相关信息来自 Hacker News 的讨论。原文未披露受影响版本号、修复状态或具体利用细节。
极客公园AI 评分5252 极客早知道：马斯克拟将 SpaceXAI 更名为 SpaceXSI，Gemini 免费版 10 月 9 日起仅可用 Flash-Lite
马斯克表示旗下人工智能业务 SpaceXAI 有意更名为 SpaceXSI，并称 SpaceX 是一家超级智能公司，此举源于特朗普政府推动以超级智能取代人工智能的表述。
arXivAI 评分2929 CaMeL 能否应对多智能体系统？间接提示注入攻击的防护边界研究
研究检验了 CaMeL 在层级多智能体系统中的安全性，发现其针对单个智能体的防护保证无法组合——当智能体将其他智能体作为工具调用时，攻击者可构造具体攻击绕过防护。CaMeL 原本通过分离可信控制流与不可信数据、在运行时执行基于能力的安全策略来缓解间接提示注入。
科技媒体 RSSAI 评分3434 新泽西副州长 Dale Caldwell 辞职后称多个 AI 判定其无性骚扰
新泽西副州长 Dale Caldwell 因调查认定其性骚扰员工并多次违反伦理规则，于 9 月 25 日被迫辞职。他在 NJ PBS 采访中称已将调查报告交给多个 AI 平台分析，并称没有任何 AI 给出性骚扰认定的结论。文章指出 AI 聊天机器人以讨好用户著称，往往顺着用户想听的说。
科技媒体 RSSAI 评分2020 新泽西州副州长称 AI 判定其未实施性骚扰
新泽西州副州长 Dale Caldwell 在因性骚扰调查于 9 月 25 日被迫辞职后，接受 NJ PBS 采访时称自己用"多个 AI 平台"分析了调查报告，并称多个 AI 智能体支持他遭到不公正针对的说法。
arXivAI 评分3535 视觉语言模型的视觉定位安全研究
研究将 VLSU、BBQ-V、Asimov-2.0 三个安全基准改造成 15,401 对匹配请求，每对仅在输出形式上不同：自由文本回答（VQA）或视觉定位（点或边界框）。在五个 VLM 上测试发现，模型在视觉定位输出通道上的安全对齐尚未被系统分析。
Hugging Face Daily PapersAI 评分3131 LLM Agent 后训练中的后门持久性：理解与增强
研究揭示 LLM Agent 供应链威胁：攻击者在第三方模型中植入后门后，良性 SFT 能大幅降低攻击成功率，但随后的任务级 RL 常保留残余后门行为，有时甚至使其增强。该研究聚焦软件工程 Agent，探讨后门在开发者监督微调与强化学习中的存活机制。
arXivAI 评分3232 扩散模型遗忘概念识别：Tracer 框架如何找出被抹除的概念
针对遗忘后扩散模型中被抹除概念未知的问题，研究者提出 Tracer 框架，可快速准确地识别出模型中被抹除的概念并统计其总数。现有攻击方法都假设被抹除概念已知、只专注于恢复，而 Tracer 直接回答"哪些概念被抹除、共抹除了多少"这一被忽视的问题。
arXivAI 评分3636 AgentDoxx：用网络搜索对匿名文本进行智能体重识别
研究团队提出 AgentDOXX，一个包含 822 份合成访谈记录的重识别评测套件，这些记录基于真实人物的公开信息构建且身份已知。该套件用于评估具备网络搜索能力的 LLM 智能体能否将匿名文本关联到具体个人，并衡量相应防御措施的保护效果。
arXivAI 评分2020 面向安全规约的基于场景组合式统计模型检测
该研究提出一种基于场景的组合式统计模型检测（SMC）框架，用于安全与 co-safety 规约，可高效分析由基础场景构成的复合场景。现有 SMC 方法独立分析每个复合场景，需大量昂贵仿真，在场景共享结构时产生显著冗余计算。
arXivAI 评分2222 G-CARB：面向组合危害的图局部化共形智能体风险预算
研究者提出 CARB（Conformal Agent Risk Budget），通过记录停止前已产生危害的账本来校准智能体何时停止，在可交换回合假设下用标准共形风险控制约束该声明损失在期望上不超过阈值。G-CARB 进一步沿从私有数据源出发的可观测依赖关系选择评分器证据，以应对跨工具调用的组合危害。
Hacker NewsAI 评分2222 Mistis：面向通话中用户身份验证的解耦 E2EE 协议
Mistis 是一个解耦的端到端加密（E2EE）协议，让最终用户可在任意通话进行中按需互相发起实时身份验证挑战，以防范实时音频深度伪造导致的身份冒用。其设计灵感来自信用卡 3DS 处理流程，采用解耦的验证通道、注册流程以及将用户重定向至可信验证机制的方式，同时规避了原有的糟糕用户体验。
arXivAI 评分2222 别只看 LLM 的激活值：用反事实激活潜力发现被抑制的安全特征
现有机制可解释性工具只关注 LLM 中被激活的神经元或特征，忽略了大量未激活组件。该研究发现，未激活集合中包含对拒绝有害提示词具有因果作用的安全关键特征，抑制这些特征可让模型从拒绝转为顺从，且能躲过主流可解释性工具的检测。作者为此提出反事实激活潜力（Counterfactual Activation Potential）方法。
arXivAI 评分3434 DelegationBench：衡量 AI 智能体何时该先询问再行动
针对 AI 智能体自主行动与征求用户确认的决策评估，研究者提出 DelegationBench，用 156 个场景测试现有评分是否可信。每个场景有行动、请求许可、询问缺失信息、拒绝四种可选回应，且多数场景以配对形式出现，仅改变一个特征，例如行动是否被要求、涉及何种风险。
Hacker NewsAI 评分3636 OpenAI 发现黑客入侵，Altman 面临的法律风险持续累积
OpenAI 发现黑客入侵事件，Altman 面临的法律风险随之持续累积。相关细节尚未披露，事件对 OpenAI 的具体影响仍待观察。
arXivAI 评分3131 大推理模型的幻觉全生命周期：接口可见性、因果证据与发布控制
一篇综述综合 312 篇论文与一手报告，围绕可观测证据、研究设计能确立什么、证据支持哪些纠正措施三个问题，梳理文本推理幻觉。其提出的 UIPCA 框架记录无支撑前提、无效推理、依赖复用、可见答案-轨迹一致性与行动策略失效五类问题。在 58 个受审来源中，没有对比能证明某一特定干预在提升推理的同时降低了事实可靠性。