跳到正文
10月16日周五
10月15日周四
  1. RadarAI40

    黄仁勋:英伟达在 AI 安全领域必须与中国企业合作

    黄仁勋 10 月 15 日接受 CNBC 采访时表示,英伟达"绝对有必要"与中国 AI 企业合作,共同监测前沿技术带来的风险,并称合作应通过"对话"实现,他一直在与中国研究人员交流。美国财政部长贝森特曾向中方提议建立双边 AI 安全风险通报机制与沟通渠道,以应对 AI 智能体失控、网络安全及生物威胁等潜在危机。

  2. RadarAI39

    Google 与 CMU 论文提出 Harmony Harness,多目标进化让自改进智能体更好保留安全收益

    Google 与 Carnegie Mellon 的论文提出 Harmony Harness,将 agent harness 的自进化建模为多目标优化,把通过测试与阻断漏洞拆成不同目标分别进化,并在推理时按任务动态组合。在 SecRepoBench 未见崩溃类型上,66.7% 的修复既有效又阻断了漏洞,起始 harness 为 36.7%;安全收益保留 55%,DGM 基线为 0%。

  3. The Verge · AI38

    Benn Jordan 谈 Flock、隐私与新一轮监控反弹

    音乐人兼调查记者 Benn Jordan 在 Decoder 播客中讨论 Flock Safety 的自动车牌识别(ALPR)系统引发的隐私争议。他近期在参议院司法委员会小组听证会上作证,数百个地方政府已开始取消合同,Flock 正被共和党参议员 Josh Hawley 调查,并计划裁员约 18%。Jordan 认为问题核心在于私营企业、政府与执法部门之间以保密优先于透明的勾连关系。

  4. RadarAI78

    The Verge 实测 Eiliko 机器人玩具:68000 台设备数据可被任意访问并可远程劫持

    The Verge 记者 Sean Hollister 与黑客 Sammy Azdoufal 实测发现,Energize Lab 的 Eiliko 机器人玩具将用户对话、用户画像、儿童照片和音频存放在无防护的服务器上,可访问约 68000 台设备、1300 万条对话,其中超 31000 份儿童档案来自美国。

    推荐理由:记者联合黑客实测 Eiliko 机器人玩具,展示约 68000 台设备数据可被访问并远程劫持其 LLM 的过程。

  5. RadarAI40

    黄仁勋盛赞 OpenClaw 推动机器人技术发展,强调权限管控必须到位

    英伟达 CEO 黄仁勋在伦敦 Build a Claw 活动上称 OpenClaw 是"首个真正可信的智能体运行框架",认为它像外骨骼的大语言模型,可推动机器人领域发展。他同时强调自主系统必须做好权限管控,并提到英伟达为此开发了 OpenShell 隔离系统,主张默认任何对象都不可信、仅授予最低权限。

  6. RadarAI38

    a16z 孵化 SAIF:为美国小城市、乡村医院和学区免费提供 AI 与网络安全工具

    a16z 孵化的非营利组织 Securing America's Infrastructure Foundation(SAIF)成立,向小城市、学区和乡村医院免费提供 AI 与网络安全软件、实操培训和事件响应支持。该组织计划五年内覆盖约 5-10 个锚点城市,已获 2500 万美元承诺资金,首年聚焦 AI 网络安全、数字素养与负责任的 AI 使用。

  7. 404 Media62

    乌克兰无人机一周内四次袭击俄罗斯数据中心

    乌克兰无人机周三袭击了俄罗斯最大的数据中心,这是过去一周内乌方对俄数据中心的第四次打击。其中三次针对 Yandex 的数据中心,导致该公司两处设施完全离线,俄罗斯民众的邮箱、部分数据及打车和公交应用受到影响;最新一次则针对俄罗斯最大银行 Sberbank 运营的数据中心。

  8. arXiv cs.AI20

    提升针对深度强化学习的可迁移对抗攻击

    该论文研究针对深度强化学习(DRL)的基于迁移的黑盒攻击,将攻击建模为每步扰动预算下的回报最小化问题。作者发现直接移植 FGSM、MI-FGSM、NI-FGSM 等图像分类攻击仅能产生与随机噪声相当的扰动,随后提出轨迹级攻击,通过可微环境模型和温度平滑代理策略在滚动时域上优化扰动序列。

  9. arXiv cs.AI27

    AVCE:面向扩散模型可验证概念擦除的审计感知遗忘框架

    针对文本到图像扩散模型的概念擦除方法,研究提出 AVCE 框架,将擦除锚定在模型潜空间中,审计每个概念的嵌入邻域并将脆弱方向压缩为锚点,再以闭式解编辑交叉注意力和自注意力投影。在 SD v1.5、SDXL 和 Flux 1.0 上,AVCE 将攻击成功率降低 5.07 倍、审计分数提升 3.84 倍,同时保持生成质量。

  10. arXiv cs.AI22

    编译器可读、编码智能体不可读:如何让研究代码远离 Coding Agent

    针对物理求解器编译所需模块必须可读、而编码智能体不应读取其中知识产权的问题,研究对容器、权限规则和沙箱三种隔离手段下的 15 条读取路径做了分类,发现三者都无法识别究竟是哪个程序在读取文件。该研究共 6 页,含 1 张图和 1 张表,相关分类与历史脚本随论文一并提供。

  11. arXiv cs.AI24

    从保留-遗忘损失景观交互看量化鲁棒的 LLM 遗忘学习

    研究者提出一种量化鲁棒的 LLM 遗忘框架,通过损失景观分析发现基于曲率的判据可定位导致遗忘不鲁棒且效用下降的敏感权重,并据此提出敏感度引导的噪声正则化与仅更新遗忘关键层的遗忘关键优化。在 MUSE 和 TOFU 基准上跨多种 LLM 遗忘算法实验显示,该方法在保持模型效用的同时实现了更强的抗量化遗忘效果。

  12. arXiv cs.AI26

    开放权重 LLM 在临床风险分类中的错位与成本不对称

    研究考察了 Qwen-2.5-7B/32B 和 Llama-3.1-8B/70B 四款开放权重 LLM 如何在内部表征临床成本权衡。在糖尿病数据集上,患者风险可线性恢复(AUC≈0.83),成本方向在每个模型中均可恢复,但仅两个较大模型的表征偏移与输出变化一致,12 组模型-措辞中仅 2 组同时表现出对 FN 与 FP 成本增加的反向响应及成本正确排序。

  13. arXiv cs.AI22

    CoReLoop:面向音频深度伪造检测的参数高效受控循环精炼方法

    CoReLoop 通过循环专属 LoRA 与轻量模块实现受控循环精炼,让已训练的 SSL 音频深度伪造检测器在不新增数据、不更新原参数的情况下提升泛化能力。在 14 个测试集上,24 层模型两轮精炼将 EER 从 4.85% 降至 3.74%,仅训练 598M 参数中的约 11M。可选 halting head 按语句选择精炼深度,以平均 1.18 轮达到 3.73% EER。

  14. arXiv cs.AI40

    从人像到病理:探究视觉语言模型的诊断越界行为

    研究构建了人口统计平衡数据集 PARITY,测试视觉语言模型是否会拒绝对面部图像做出自闭症谱系障碍、ADHD、重度抑郁症和广泛性焦虑症的诊断判断。对 27 个开源与闭源模型的评估显示,模型会将面部表情转化为缺乏依据的医学判断,且该行为在开源权重模型中普遍存在,并延伸至经过安全训练的前沿模型——后者对单张人像会拒答,但在比较同一身份的多张人像时仍会给出诊断。

  15. arXiv cs.AI24

    P2Skill:面向云-端 LLM 推理系统的隐私保护技能蒸馏

    P2Skill 是一种基于提示词的技能蒸馏方法,让本地小模型自主执行四项技能,由云端 LLM 根据执行失败迭代优化技能,使本地 SLM 泛化到记忆化的 PII 模式之外,最终技能在设定边界内按最低验证泄露率选取。该方法无需隐私专用微调或学习型辅助检测器。在真实用户查询上,三种本地 SLM 中表现最佳者搭配 P2Skill 时,传输的标注标识符少于所有将文本发往云端的现有隐私保护方法。

  16. arXiv cs.AI27

    SOC 从业者如何看待 LLM 集成:25 场访谈揭示 15 类用例与落地障碍

    一项针对 25 名有 LLM 使用经验的 SOC 从业者的半结构化访谈研究,梳理出 15 类 LLM 用例并归为六大功能类别。从业者认可 LLM 在报告自动化等重复性低阶任务上的价值,但认为事件分析等高影响任务尚不可行,瓶颈在于技术深度、上下文感知和组织专属知识,以及 SOC 自身准备度和人类过度依赖。尽管存在顾虑,从业者仍表现出强烈的采用意愿,称竞争压力下几乎没有替代选择。

  17. arXiv cs.AI24

    LLM 辅助 ISR 集群的任务级运行时保障:基于验证感知消息结构的三层组合验证框架

    针对 LLM 辅助 ISR 集群中单平台合规动作组合成任务级违规的问题,研究者提出三层(平台/小队/任务)组合式运行时验证框架,将任务策略分解为单智能体与跨智能体切面,并通过验证感知消息结构聚合各平台判定,用安全×完整性双轴代数融合证据、溯源共同触发违规的平台。

  18. arXiv cs.AI39

    ChannelGuard:多智能体 LLM 中从借用安全到应用可控防御

    针对多智能体 LLM 中恶意指令可经模型间传递信息注入的问题,研究者提出应用层防御方案 CHANNELGUARD,在每次信息交接时检查内容,无需额外训练或增加模型调用。在超过 5700 次测试中,它拦截了全部隐藏在工具输出中的攻击;在两个开源模型上,将提示攻击成功率从 80% 降至 3%、从 77% 降至 10%,且 30 道数学题准确率不变。但改写后的攻击仍可能绕过该防御。

  19. arXiv cs.AI44

    Bulkhead:自动语义检测与修复容器逃逸漏洞

    Bulkhead 是一个自动检测与修复容器逃逸漏洞的框架,通过将历史 CVE 归纳为结构化语义模式、结合文档与代码证据恢复 source-to-sink 执行上下文,并用 LLM 推理加隔离 PoC 执行验证发现结果。在多个容器仓库中,Bulkhead 发现 20 个零日漏洞,占过去十年发现总量的 43%,其中 3 个已分配 CVE,验证后的补丁建议已提交上游。

  20. arXiv cs.AI32

    用元认知反馈强化学习让 LLM 忠实表达不确定性

    研究者提出元认知反馈强化学习(RLMF),依据模型对自身表现的自我判断质量来优化偏好训练中的补全排序,并配合元认知数据选择筛选高价值训练样本。在忠实校准任务上,RLMF 在多种任务上取得可泛化的 SOTA 表现且保持准确率,相比标准 RL 提升最高达 63%,同时增强模型评估和表达自身能力边界的能力。