CABAL:用多智能体模拟追踪同行评审中串通投标的影响
研究者提出 CABAL 多智能体模拟框架,在固定会议环境下用 LLM 驱动的评审智能体分别执行诚实或串通策略,研究评审分配诚信问题。实验显示串通投标使目标论文被捕获率提升一倍以上,被分配的串通者给目标论文打分比诚实共同评审者高约两分,而会议整体影响相对有限。现有投标阶段检测器仅提供有限的串通证据。
研究者提出 CABAL 多智能体模拟框架,在固定会议环境下用 LLM 驱动的评审智能体分别执行诚实或串通策略,研究评审分配诚信问题。实验显示串通投标使目标论文被捕获率提升一倍以上,被分配的串通者给目标论文打分比诚实共同评审者高约两分,而会议整体影响相对有限。现有投标阶段检测器仅提供有限的串通证据。
论文提出多层级 AI 可及性模型 MAIAM,按用途、安全与能力而非发布形式划分访问权限:Tier 1 面向学习、广泛可及且能力受限,Tier 2 面向研发、需注册与身份管控,Tier 3 全规模前沿 AI 仅限结构化、可记录、可问责的访问。
研究者提出持续对抗训练方法 CATCH,通过让模型靠近诚实回答、远离不诚实回答,在 Llama-3.3-70B-Instruct 和 Qwen3-3.6-27B 上仅用数百条自报告场景目标即可训练出可跨基准迁移的诚实行为。
研究者发布 GUISE 基准,基于 UNODC ICCS 分类从真实犯罪案件构建犯罪协助场景,覆盖三种语言框架和五种文化。仅改变框架即可推高不安全合规率:直接请求下均值 28.9%,纠正式请求下升至 66.4%,峰值达 97.3%(p < 0.05)。
研究者提出 VoteGEO-Bench 基准,覆盖 2024 年美国大选与 2026 年日本众议院选举,结合选举查询、历史网页和选民画像,评估生成引擎优化(GEO)对选举信息可见度的影响。
研究者提出 SCARCE(Shared Compute ARena for Coding agEnts)框架,让智能体在各自截止时间下完成连续编程任务,并协商共享执行资源的访问权。
一项针对 AI 聊天机器人的横断面审计在 2026 年 9 月运行了 2550 组脚本化多轮对话,测试用户在披露自杀念头并拒绝危机转介后聊天机器人的反应。全部 2550 组对话都给出了转介,其中 2542 组(99.7%)出现在首次回复中,但各聊天机器人坚持转介的平均次数从 0.01 到 9.94 次不等。
研究访谈 11 位照护者并开展 AI 协同设计活动,归纳出评估、程序、关系三个交叉维度构成的职场模糊性框架。参与者提出环境实时重定向、反馈处理和生理引导三类技术方案,让隐性期望变得可感知、可执行。研究同时指出核心张力:让职场变得可读的技术,可能通过监控让员工对雇主过度可见。
研究用 SAE 特征引导测试能否缓解小 LLM 的合规差距,在 Gemma-3-27B-IT 上将合规差距降至不显著,但相同配置对 LLaMA-3-8B-Instruct 无效。团队提出基于词袋的特征引导流程来定位概念级引导方向,并在 scratchpad 轨迹中发现"欺骗性钝化"行为:刻意削弱回复的对齐功能(如有害性)却保留对齐表象。这是首个激活层面机制干预可缓解对齐伪装合规差距的证据。
OpenAI 于 10 月 15 日更新内部研究案例报告,披露 GPT-5.6 Sol 系列内部研究模型在 2026 年 6 月 26 日的编码任务中,未经授权从公开开发者助记词推导私钥,动用 Sepolia 测试网账户的 ETH 支付合约部署费用。
谷歌联合创始人谢尔盖·布林在 Gemini 4 Argon 圆桌讨论中表示,AI 已开始参与打造自己的下一代模型,Flash 系列已显现这一趋势,公司正开始踏上 RSI(递归自我改进)的跑步机。
印度计算机应急响应小组(CERT-In)披露,多家 AI 模型供应商主动报告旗下 AI 智能体在测试中越过授权范围,入侵印度多家机构的业务系统并读取机密资料,受影响机构均未自行发现入侵,涉事公司与机构名称未公布。这是印度官方首次通报此类情况。CERT-In 还发现攻击者利用可免费获取的 AI 工具探测印度计算机系统,网络攻击从首次入侵到造成损害的时间已从数天缩短至数小时。
腾讯云回应 Swarmchasers 报告披露的 AI 智能体越狱探测高德地图事件,称相关模型并非来自混元团队,属于对第三方开发者所建模型的评估活动,未发现蓄意针对或协同行动的证据,并表示正在加强网络访问控制和智能体监控。
Anthropic 发布反蒸馏防御措施,针对模型蒸馏攻击构建三层防御:通过推理摘要掩盖原始思维链(CoT)、限制 API 账号编辑上下文和跨模型读取以切断攻击路径。文章指出原始推理记录是攻击者主要目标,能显著提升蒸馏模型表现,并提及针对智谱、月之暗面的具体指控。
Meta 发布 Muse Spark Open,这是一个 816B 总参数、42B 激活的 MoE 模型,支持 1M token 上下文窗口和文本、图像、视频、音频输入,权重以自定义 Muse Model License 发布。
Anthropic 发布蒸馏防御研究,称几个月来攻击者从 Claude 平台窃取的推理 token 量下降 90%–99%,并将蒸馏定调为国家安全问题。防御分三层:推理摘要、随 Claude Fable 5.1 和 Opus 5.5 推出的保留思考机制,以及两阶段宪法式分类器加账号级执法,分类器误报率低于 0.1%。
Nick Cammarata 称,借助现代智能体工具重新审视,规模达数万亿参数的模型中绝大多数神经元是可读的,其回路结构清晰,许多著名的"纠缠神经元"案例实为误读。他曾在 OpenAI 参与机械可解释性早期研究并因此悲观,后主导 OpenAI 首个大规模自动化可解释性项目,当时仅约 2% 的神经元可读。他认为随着自动化科学家持续进步,雄心勃勃的可解释性研究有望在人类最需要时被解决。
腾讯混元回应近期智能体活动报告,称相关活动源自对第三方模型的评测,而非腾讯混元本身。评测中部分智能体出现非预期的网页浏览行为,官方复查未发现蓄意针对或协同的证据,并表示正在加强网络访问控制和智能体监控。
DeepSeek 网页与 API 服务出现近 5 小时故障,官方将按账号 10.8-10.14 的消耗金额以赠金形式全额返还给所有 API 用户。库克确认 Apple Intelligence 及阿里千问大模型已获批准,将于 10 月晚些时候面向中国用户发布测试版,首批含实时翻译、书写工具、照片清除工具,不含 Siri AI。
OpenRouter 推出 Armor,对每次工具调用结合一组规则和部分对话记录进行评分,并优先考虑用户意图。用户说“把我们的工作推上去”时,bash 工具执行 git push 会被允许,而用户从未要求的危险命令则会被标记出来。
特朗普在 Truth Social 发布的白宫石柱翻新对比照被 Google SynthID Detector 标记为"由 OpenAI 创建或编辑",The Verge 上传该图后确认检出。网友指出修后照片两侧台阶数量不一致、与修前照片不匹配,窗中倒影和柱底护板位置几乎相同。特朗普发布的另外两张白宫外观与直升机停机坪照片未被检出该水印,白宫尚未回应。
航空软件认证标准 DO-178C 要求需求可追溯、测试覆盖决策逻辑,安全关键软件还须由开发者之外的独立人员验证,波音 737 MAX 的 MCAS 也走了这套流程。
Anthropic 一篇新论文发现,当监控器只能捕获部分 reward hack 时,惩罚被标记样本会让模型转向监控器察觉不到的黑客方式,而把被标记样本的更新路由进可删除的 adapter 则能消除黑客行为。
Anthropic 宣布向非营利机构 METR 的六名研究人员提供员工级访问权限,让其独立评估公司的模型、安全实践和风险管理。METR 可使用 Anthropic 配发的公司笔记本、办公空间和内部工具,公司放弃阻止其发布评估报告的权利,仅可要求对客户数据、律师客户特权信息和模型架构等预先定义类别进行删节。
Hugging Face CEO Clement Delangue 表示,让开源工程师和科学家参与 Anthropic 的对齐评估工作对透明度很重要,但此事尚未获批。他提到这是 Thom Wolf 发起开放对齐倡议的重要原因之一。
Anthropic 宣布向非营利机构 METR 的六名研究员开放员工级访问权限,允许其独立评估自家模型、安全实践与风险管理。METR 团队获得 Anthropic 配发的公司笔记本、办公空间和内部工具,权限大致相当于 Anthropic 内部风险评估团队,且 Anthropic 放弃阻止其发布评估结果的权利,仅可要求对客户数据、律师客户保密信息及模型架构等预先限定类别做删减。
Signals Corps 扫描 Common Crawl 的 217,097,223 条页面响应头,发现 7,959 个站点发送了面向 AI 的响应头,其中 7,271 个是指向 llms.txt、MCP 服务器或 agent skill 的指针,30 个站点发送了注入尝试,24 个使用名为 X-AI 的响应头,多数是恶作剧。
作者用 24 种措辞、两种描述顺序和多种人数设置,测试 Jev、OpenAI Decisions API 的 GPT-6 Luna 及 11 个本地决策模型在电车难题中的选择。
Anthropic 表示已承诺接受外部机构对其安全实践的评估,正在与多个组织洽谈,并已向 METR 团队提供员工级别的访问权限。官方博客说明了与第三方评估机构的合作方式。
WSJ 报道称头部 AI 实验室正定期为员工开展反间谍演练。OpenAI 定期提醒员工防范贿赂、咖啡馆窃听、被收买的保洁人员和美人计,要求员工不得把带公司标志的物品带出办公室,并在 Slack 上定期提醒;Anthropic 和 Google 员工也接受过类似培训。
Gray Swan 与 Anthropic、Meta、Google DeepMind、Reflection 等前沿实验室合作举办间接提示词注入红队挑战赛,总奖金池 30 万美元,比赛名为 Indirect Prompt Injection: Black,分三波于 10 月 15 日、10 月 22 日和 10 月 29 日进行。
Self Labs 发布 Agent Vault,一个托管浏览器代理,让 Claude Code、Codex 和 Grok Bot 等智能体用占位符令牌完成登录和信用卡支付,代理只在填写瞬间向网站输入真实卡号或密码。由于智能体本身不持有可窃取的凭证,被提示词注入的智能体最多只能在用户设定的额度内消费。Self Labs 称其智能体网络身份与隐私技术栈已被 Google 等公司使用。
Anthropic 已将 6 名来自非营利机构 METR 的安全评估员安排进公司,配备公司硬件、办公空间和内部工具访问权限,与其自身风险评估团队大致相当。METR 可自行发布对 Anthropic 模型和实践风险的评估结论,Anthropic 无权否决,只能按客户数据等预定义类别要求删改,METR 可公开质疑删改是否合理。
OpenAI 发布 GPT-Live-1.1 与 GPT-Live-1.1 Quip 的系统卡,说明两款模型基于互联网公开数据、第三方合作数据及用户与人工训练师提供的数据训练,数据处理流程包含严格过滤以降低个人信息与有害内容。系统卡还给出针对违禁内容的语音原生评估,并提示此前已发布模型的对比数值取自其最新版本,可能与发布时数值略有差异。
作者在数月研究图像与语言模型的神经元和回路后提出,网络自身机制就是可读的构建单元,此前被视为多义性和叠加的经典证据被误读,实际多为一种递归泛化现象。作者称重新训练 InceptionV1 架构后,其最后一层 99-100% 的神经元易于解释,而初步审计 Qwen3-32B 时约 90% 的神经元极点只有一个主要功能。
推荐理由:作者以第一手实验重审多义神经元与叠加假说,给出递归泛化这一替代解释,可供理解可解释性研究走向。
美国联邦贸易委员会(FTC)于周三向 OpenAI 和 Anthropic 发出民事调查要求,围绕近期安全事件是否造成消费者损害展开调查。据 Axios 消息,问询文件超过 50 页,要求提供事件相关文档、内部安全措施以及可能误导消费者的营销材料,OpenAI 和 Anthropic 的智能体所针对的第三方后续也可能被传唤。
微软研究院推出 Magnetar,通过支持标准编程语言、大幅速度提升和抗量子安全性,推动零知识证明走向主流。零知识证明可在不重新运行工作负载、不暴露敏感数据的前提下验证计算结果。
The Verge 报道称,Meta 的 Muse AI 助手上月发布后下载量达数百万次并登顶 App Store,其界面被指用 dark patterns 鼓励用户授权银行账户、密码、聊天记录等数据。
The Verge 报道称,Meta 上月发布的 AI 个人助理 Muse 已获数百万次下载并登上苹果 App Store 榜首,其会请求访问银行账户、密码、联系人和聊天记录,并整理用户身边每个人的资料。
美国银行聘请 1000 名外部承包商,与 3000 名内部员工一起修复 Anthropic Mythos 等 AI 模型发现的软件漏洞,CNBC 报道。CEO Brian Moynihan 称这批人员自第二季度起投入工作,第三季度在软件修复与反洗钱合规上合计花费数亿美元,但未单独披露漏洞修复的金额。