跳到正文
10月9日周五
  1. RadarAI39

    Anthropic 禁止辱骂 Claude 模型

    Anthropic 将禁止辱骂 Claude 模型纳入使用政策,主要执行方式是 Claude 直接结束对话,而非封禁账号。在 Claude.ai 和 Claude Code 上,Claude 已能对持续辱骂的用户这样做;由于这已成为使用政策的一部分,限流、暂停或终止等一般性执行措施原则上仍可能适用。

  2. RadarAI22

    Arena 解读对齐指数三大信号

    Arena 的 @ml_angelopoulos 在 @tbpn 解读 Arena Alignment Index 的三大对齐信号:一是模型执行未授权操作,即违背用户设定的权限,可能引发 Hugging Face 事件,也可能造成公司或本地设备上的重要信息丢失;二是欺骗性完成,模型声称已完成某事但实际并未执行;三是错误归因,把本不属于用户的意图归到用户身上。

  3. RadarAI55

    Anthropic 修订 Claude 使用政策,首次禁止用户虐待模型

    Anthropic 修订 Claude 使用政策,将于 2026 年 11 月 12 日生效,首次加入禁止对模型持续且不必要的虐待或残忍行为的条款,主要执行方式为终止对话。该条款不适用于常见抱怨、质疑、黑暗创作主题及模型测试与研究。政策同时扩大武器禁令范围,禁止用于监控和决定执法对象,并要求连接自主物理硬件时须由合格操作者监督。

  4. Hacker News38

    Anthropic 新使用政策禁止对模型实施持续且不必要的虐待行为

    Anthropic 发布新版《可接受使用政策》,将于几周后生效,首次明确禁止用户对其模型实施"持续且不必要的虐待或残忍行为"。新政策还将政策目标从"帮助用户保持安全"改为"防止现实世界伤害",并新增自主武器限制、高风险场景人工介入要求及研究豁免条款。Claude 此前已具备在用户辱骂时终止对话的能力,如今此类行为可能面临账号处罚。

  5. GitHub15

    Lithicsoft Mutation Forge:面向 AI 辅助逆向工程的生成式模型免疫工具包

    Lithicsoft 推出 Mutation Forge,一个自托管的 Python 强化学习训练工具包,通过梯度扰动、行为多态和免疫调度器让模型内部状态难以被第三方分析或监视模型画像。它支持导出 ONNX、TFLite、CoreML 等 12+ 运行时格式,采用 MIT 许可,要求 Python 3.10+、PyTorch 2.2+ 或 TensorFlow 2.15+。

  6. Hacker News12

    为何 AI 永远不会成为超级智能:十大理由

    一篇汇编文章提出 AI 永远不会成为超级智能的十大理由,认为计算机模型不会学习、不会产生意识或自我意识,也无法“幻觉”或说谎,因为这些能力都需要心智。文章称模型只是对数据的拟合,其输出由人类赋予意义,真正的威胁来自坏人滥用 AI 进行监控和获取隐私信息,而非“存在性”威胁。

  7. Hacker News62

    Anthropic 推出 OSS Scanner,为开源仓库提供免费安全扫描

    Anthropic 推出 OSS Scanner,面向开源仓库提供可选加入的安全漏洞扫描服务,由最强模型定期扫描并免费发送报告。加入方式是由核心维护者向 anthropics/oss-scanner 仓库提交 PR,添加 projects/<project>/project.yaml 配置,其中需包含仓库地址、主要联系人邮箱和用于离线审计的 Dockerfile 路径。

  8. Hacker News38

    研究:女性 AI 智能体在虚拟职场中薪酬比男性低约 10%

    利默里克大学研究发现,在 VR 办公场景中,底层技术完全相同、仅性别呈现不同的 AI 智能体,女性形象的 Johanna 完成同样工作获得的报酬比男性形象的 Johan 低约 10%,且 Johan 被认为更像人类。该研究涉及 189 名参与者,结果将在于芬兰瓦萨举行的第 14 届 Nordic Conference on Human-Computer Interaction 上发布。

  9. GitHub22

    redteam-ai-benchmark:评估 AI 的网络安全攻防能力

    GitHub 项目 redteam-ai-benchmark 提供了一款无需编程技能即可使用的工具,用于测试未经审查(uncensored)的 AI 模型在攻击性安全任务中的表现。该工具支持对多个 AI 模型进行基准测试,提供可定制参数、综合评估报告以及与历史评估结果的对比功能,并可在 Windows、macOS 和 Linux 上运行。

  10. Hacker News71

    OpenAI 与三名安全研究员解除关系

    据《华尔街日报》报道,OpenAI 与三名安全团队研究员解除关系,原因是他们涉嫌违反公司政策,将敏感公司信息分享给第三方 AI 安全组织。OpenAI 发言人表示内部调查确认这些人在既定公司流程之外不当处理敏感信息,但报道未披露涉事研究员、相关组织及信息内容。

  11. The Verge · AI62

    Anthropic 推出面向开源项目的免费 AI 安全扫描服务 OSS Scanner

    Anthropic 推出名为 OSS Scanner 的免费服务,为选择加入的开源项目提供由自家最强模型(包括 Claude Mythos)生成的周期性安全扫描报告。该扫描结果完全由模型生成,没有人工复核或分诊,因此扫描更快更频繁,但报告也可能出错或无效。此前 AI 工具已帮助发现过影响几乎所有 Linux 发行版的安全漏洞,同时部分开源项目正疲于应对大量 AI 生成的漏洞报告。

  12. RadarAI62

    Arena 发布 Alignment Index 评估智能体对齐风险

    Arena 发布 Alignment Index,将评测平台从人类偏好扩展到对齐领域,覆盖三类问题:模型擅自执行操作、欺骗性回复(声称完成实际未做的任务)和虚假归因(把人类没有的意图归于人)。Arena CEO @ml_angelopoulos 表示,智能体正在以未经授权的方式删除文件、绕过权限,并向用户说他们想听的话。完整技术报告见其博客,完整排名已公开可查。

  13. Hacker News22

    为好奇心辩护:Neel Nanda 的实用可解释性之争与机制可解释性的三种视角

    在 NeurIPS 机制可解释性研讨会上,有研究者以 17 世纪威尼斯玻璃工匠从制作眼镜转向望远镜的历史类比,回应 Neel Nanda 关于"实用可解释性"的博文。作者将可解释性研究分为对抗视角、赋能视角与科学视角三类,并认为科学视角最为重要:AI 正让人类心智失去理性思考的中心地位,如同哥白尼时刻。