跳到正文
10月3日周六
  1. 科技媒体 RSS41

    苹果收紧 macOS 27 等系统完全磁盘访问权限,降低 AI 智能体操控风险

    苹果宣布将升级 macOS 27 等系统的隐私管控,要求用户通过更明确的操作才能授予应用“完全磁盘访问权限”。苹果称该权限会大幅绕过系统常规数据保护控制,风险高于普通权限,部分开发者正以可能危及用户安全的方式使用它。苹果表示此举背景是 AI 智能体加速普及、自主能力增强,但未公布新管控的具体形式、上线时间或适用范围。

  2. 科技媒体 RSS62

    Apple 将限制 Mac 全盘访问权限,称 AI 智能体显著增加风险

    Apple 宣布将在 Mac 上对全盘访问权限增加新的限制,以应对 AI 智能体带来的风险。Apple 表示将推出新的控制措施,确保只有用户非常明确的操作才能授予应用这种级别的访问权限。此举发生在 Meta 的 Muse AI 被发现在未获明确授权的情况下获知用户消息内容数周之后。

  3. 科技媒体 RSS34

    Cohere CEO 批评 Anthropic 游说宗教界强推 AI 立场

    Cohere CEO Aidan Gomez 公开批评 Anthropic 游说各大宗教团体采纳其对 AI 的哲学解读,而非听取对方意见,并威胁退出立场不完全一致的活动,称这是 EA 与 Anthropic 长期以来的道德傲慢与教条主义。他引用推文称,Anthropic 曾试图在《Magnifica Humanitas》发布前施压梵蒂冈修改文本,使其不否认 AI 人格。

  4. 科技媒体 RSS41

    AI 幻觉让"顾客永远是对的"变得更糟:服务员、护林员和幼教都在被 ChatGPT 反驳

    生成式 AI 的普及正让服务业顾客用 ChatGPT 的答案反驳一线员工。纽约服务员 Madison 称有客人坚称 ChatGPT 说菜品不含贝类,无视其过敏警告;还有客人拒绝侍酒师、改问 ChatGPT,甚至点出不存在的酒。护林员也遇到游客拿着 AI 编造的露营点和逆流路线仍不信地图,幼教则遇到家长坚持 ChatGPT 的睡眠安排。

  5. Redwood Research24

    能力研究同样在拓展安全-有用性帕累托前沿

    Redwood Research 的文章指出,把安全研究定义为"在不显著增加成本或降低有用性的前提下让 AI 部署更安全"会得出一个尴尬结论:几乎所有能力研究都算安全研究,因为任何研究都只是增加选项、拓展帕累托前沿。作者认为关键在于开发者必须在帕累托前沿上选一个具体点,安全研究通常让开发者倾向更高安全,能力研究则相反;但在政治意愿远高于当下的某种未来情境下,某些能力研究也可能有效提升安全。

  6. arXiv31

    Certified Mechanistic Edits:技能移除与保留的行为保证

    研究提出对机制编辑(消融、权重编辑、激活引导)的行为效果进行认证,而非仅靠测试验证:证明禁用某电路后,在全部输入范围内都能移除一项技能并保留另一项技能。现有方法只能通过测试验证效果,无法覆盖连续的整个输入区域;此前可解释性-验证方向的工作认证的是模型描述(电路计算内容或解释是否忠实),该工作转而认证编辑本身的行为效果。

10月2日周五
  1. arXiv34

    训练过的测试能过吗:重新评估 LLM 智能体的提示注入检测器

    研究团队通过无 LLM 重放 AgentDojo 和 tau-bench 的真实工具调用,构造出天然良性的工具输出,并用差分重放标注注入输出,评估了包括 Meta Prompt Guard 2 在内的 15 个检测器及两个任务感知 LLM 评判器。结果显示,检测器在公开基准上的排名无法预测其在智能体内部的实际表现。

  2. arXiv31

    视觉语言模型为何"自欺":Qwen2.5-VL-7B 的训练/推理鸿沟机制解析

    针对 Qwen2.5-VL-7B-Instruct 的研究发现,定向对抗扰动可将固定目标描述的 teacher-forcing 训练损失压至接近零,但模型自由生成时仍输出原本正确的描述,作者称之为训练/推理鸿沟。研究在 200 张 COCO 留出图像上用两阶段 PGD 攻击给出了机制性解释,并指出图像级像素统计(含重新实现的基于纹理的可攻击性度量)无法解释这一现象。

  3. arXiv29

    KaliBench:面向 Kali Linux 网络安全工具调用的细粒度基准,支持无运行时可验证奖励

    KaliBench 是一个细粒度基准,用于衡量 LLM 为 Kali Linux 真实网络安全工具生成可执行命令的能力,并采用无运行时可验证奖励。现有评测多聚焦知识问答或端到端智能体任务,未直接测量命令生成,而网络安全 CLI 中语法错误、flag 与取值绑定错误或参数顺序错误都会导致执行失败。

  4. arXiv28

    AI 监督能否实现零知识?

    针对 AI 基于机密数据(如医疗记录、药物分子结构)生成输出的场景,近期研究通过交互式证明与辩论来验证 oracle 辅助计算的正确性,其中正确性可能依赖人类判断、物理实验或网络等 oracle。这些工作聚焦于验证者运行速度远快于证明者的验证方式。

  5. arXiv24

    开源大语言模型临床分诊偏见反事实审计

    研究对十款开源大语言模型开展儿科急诊严重程度指数(ESI)预测的反事实偏见对比审计,考察偏见在不同模型家族、参数规模、医学领域模型及领域适配模型间的差异。该审计针对急诊分诊这一高风险优先级排序任务,其中人口统计、社会经济与系统上下文信息可能不当影响分诊等级判定。

  6. arXiv24

    混合恶意软件检测:少样本模型无关元学习与自编码器的结合

    针对勒索软件攻击频发、传统检测方法难以应对新型或稀缺样本的问题,该论文提出一种混合深度学习框架,将少样本模型无关元学习(MAML)与自编码器相结合用于恶意软件检测。勒索软件通常通过钓鱼邮件、恶意下载或软件漏洞利用入侵系统,加密文件后索要加密货币赎金。