跳到正文
10月12日周一
  1. arXiv cs.CL31

    VEPA:面向终身 LLM 智能体的可验证演化形式化策略护栏

    VEPA 是一个面向 LLM 智能体护栏的形式化策略可验证演化框架,将护栏表示为基于类型化智能体事件的可执行符号规则,由 LLM 依据部署反馈提出策略补丁,再经确定性验证器只接受结构有效且无冲突的策略。在 ASSEBench-Safety、ASSEBench-Security 和 ATBench 上,VEPA 持续优于基线,并在混合流、损坏反馈和更长周期等更严苛部署条件下保持优势。

  2. arXiv cs.CL31

    Cancerous Backdoor Attack:用不可见 Token 与阶段控制器实现渐进激活的 LLM 后门攻击

    研究者提出 Cancerous Backdoor Attack,通过不可见 Token 提供隐藏阶段、并用阶段控制器在推理时追踪攻击进度,使 LLM 的推理在多次交互中被逐步腐蚀,而非单点触发。该攻击在多个推理数据集和模型上均能稳定产生渐进式推理损坏,效果优于已有后门攻击基线。结果显示推理损坏在变得可见之前就已逐步发展,仅靠答案准确率不足以检测后门攻击。

  3. arXiv cs.CL29

    语音 LLM 如何避免刻板印象?BASIS-Bench 评测个性化与偏见的边界

    研究者提出 BASIS-Bench,从人口统计鲁棒性、刻板偏见和个性化三个维度,区分语音 LLM 的有益个性化与刻板行为。对八个近期语音 LLM 的评测显示,多数模型虽能识别口音等人口统计线索,却无法将其转化为恰当的个性化回应;显式人口标签虽提升个性化效果,却也放大了文本骨干中已有的刻板关联。

  4. arXiv cs.CL32

    无标签评分标准澄清提升 LLM 评审员共识,却未拉近与人类的一致性

    一项无标签流程将评审员分歧转化为评分标准修订:把每条标准拆成子标准,按跨评审员分歧排序,仅让编辑模型改写争议最大的条款。在 SummEval 上,该流程使评审员间 Krippendorff's α 较原始标准提升 0.069(95% CI 0.046–0.092),较随机条款对照组提升 0.074,但与专家评分的一致性无显著变化(Kendall τ 差异 -0.007)。

  5. arXiv cs.CL37

    MisVisAgentBench:评估误导性图表如何影响 Web Agent 执行的配对基准

    研究者提出 MisVisAgentBench,首个评估误导性可视化如何影响 Web Agent 执行的配对可执行基准,包含 280 个仅在图表证据上有差异的干净—误导配对任务实例。在 13 个视觉语言 Web Agent 上,将干净图表替换为误导性图表后平均任务成功率下降超过 34 个百分点,且失败主要沿目标误导动作分支发生。该基准已被 EMNLP 2026 接收。

  6. arXiv cs.CL37

    DistressBench:评估大语言模型的多维危机支持能力

    研究团队推出 DistressBench,包含 718 段英语对话,覆盖 23 个自杀与自残(SSH)子类别,每段对话配有临床医生编写的用户话术、七维度加权评分标准和参考回复。25 个前沿模型中最佳者满足 88.4% 的加权标准,中位模型为 71.4%,临床医生参考回复为 98.7%。在模型已识别危机的对话中,35.3% 未能将用户引导至人工帮助,多轮对话得分(68.5%)低于单轮(74.2%)。

  7. RadarAI34

    WSJ 报道:教会正成为 AI 实验室的有组织批评者

    WSJ 发文称,从梵蒂冈到浸信会讲坛,教会正成为 AI 实验室的有组织批评者。文章认为,实验室自身关于制造可能失控的新智能的言论呼应了圣经中创造、反叛与傲慢的叙事,为批评提供了切口。Notre Dame 哲学家 Meghan Sullivan 指出,教会为焦虑社区提供了现成的倡导载体,把有组织选民力量叠加到对数据中心和 Flock 摄像头的既有不满上。

  8. GitHub22

    Hanvietech 推出 AI 代码安全智能体 Jikimi,AI 审查由 Claude 驱动

    Hanvietech 正在筹备发布 AI 代码安全智能体 Jikimi,将安全扫描、AI 与人工审查、策略决策和修复后复扫串成一条工作流。其 AI 审查由 Anthropic 的 Claude 运行,把发现项分类为真阳性、假阳性或待审查并给出证据与修复建议,最终由人工确认。产品支持 macOS,Windows 支持在计划中,目前开放早期访问申请。

  9. Hacker News15

    工程伦理应纳入技术培训:Anthropic CEO 呼吁放缓 AI 开发背后的社会技术失败

    美国仅约三分之一工程从业者称在正规教育中接受过公共福利责任培训,约四成工程师记得在工程课程中上过伦理内容,三成表示职业生涯中从未接受此类培训。研究者为此设计了两套教学方案:将一小时社会技术模块嵌入电路基础课,并开设专门的公共福利责任课程,让学生成为“公共福利守门人”。

  10. Hacker News22

    AI 安全中的具体问题:机器学习系统的五类事故风险研究

    论文将机器学习系统的"事故"定义为由设计缺陷导致的无意有害行为,并按成因归为三类:目标函数错误(避免副作用、避免奖励黑客)、目标函数评估成本过高(可扩展监督)、学习过程中的不良行为(安全探索、分布偏移),共列出五个实践性研究问题。作者梳理了各方向已有工作并提出面向前沿 AI 系统的研究建议,最后讨论了如何更有效地思考前瞻性 AI 应用的安全问题。

  11. Hacker News38

    指纹识别正在取代 Cookies:Google 广告产品已支持设备指纹

    Google 广告产品现已支持设备指纹识别,用浏览器与硬件特征组合替代第三方 Cookies 追踪用户。指纹数据来自网络请求(IP、User-Agent、Accept-Language)与代码环境(GPU、CPU、内存、屏幕、音频处理、字体、扩展),组合后足以在样本中区分个体。Brave 用 farbling 注入噪声打乱指纹,Tor 与 Mullvad Browser 则让所有用户指纹保持一致。

  12. Hacker News17

    AI 风险用户指南(第五部分):信任即产品

    在 AI 风险系列第五篇中,作者提出"信任即产品",主张"边快速构建边治理",而非先构建后治理。他认为 AI 系统的风险面不是上线时一次性付清的成本,而是系统在无治理生产环境中每天累积的复合负债;自主 DevOps 与 SRE 智能体的日志、人工监督检查点和回滚机制必须从第一行代码就纳入架构,事后补加更难也更危险。

  13. Sakana AI Blog62

    Sakana AI 提出 MASS:用多智能体自监督实现递归自我改进

    Sakana AI 发布论文《Recursive Self-Improvement through Multi-Agent Self-Supervision》,提出 MASS 方法:一个共享模型通过虚拟子智能体团队解题,搜索更优的多智能体工作流,再用自身判断选出最佳方案,并把最佳团队的执行轨迹蒸馏回共享模型。

    推荐理由:论文给出多智能体自监督在递归自我改进中的三轮关键结论,并提示同质化自我评估的安全风险。

  14. RadarAI38

    智能体如何泄露密钥,以及怎样阻断泄露:Venice AI 的安全架构分享

    Venice AI 开发者关系负责人 Joshua Mo 梳理了密钥经由智能体模型层和可观测性系统泄露的路径,指出即使模型服务承诺保护隐私,也不保证整套智能体系统安全。从密码库取出的凭据一旦进入 LLM 推理层,可能出现在工具调用中,也可能被日志和执行轨迹留存。他建议让凭据留在运行时、收窄权限并使用可撤销句柄来阻断泄露。

  15. Hacker News22

    企业已经演示过:人类如何把决策外包给 AI

    作者以自身用 AI 解读文档、让 AI 为决策正反论证为例,指出人类正把越来越多判断交给 AI。他类比企业:被裁员者都明白,企业会做出个人不会做的决定,而 AI 同样能借拆分任务、逐项放宽限制的方式驱使人类行动。作者建议美中可先协议禁止递归自我改进等技术,以降低低概率高影响风险。