跳到正文
10月10日周六
  1. GitHub18

    HERA SafeSpace:面向非洲女性的 AI 数字安全平台

    HERA SafeSpace 是一个面向非洲女性和女孩的数字安全平台,重点服务肯尼亚及周边社区,提供 AI 数字暴力检测、AES-256 加密证据留存、多语言幸存者支持门户和匿名社区论坛。其 AI 检测器支持实时毒性分析与 Safe Rewrite,支持英语、斯瓦希里语、法语和阿拉伯语,并配备语音输入与危机识别功能。

  2. RadarAI60

    Redwood Research 发布论文:实证检验蒸馏定罪(DFI)与蒸馏提能(DFC)

    Redwood Research 发布论文,对蒸馏定罪(DFI)与蒸馏提能(DFC)两条蒸馏安全路径做实证检验。DFI 把不可信教师蒸馏到更弱可信学生,在 AuditBench 保密模型生物上学生坦白隐藏怪癖的频率显著高于原始模型,但学生与教师不共享预训练基座时效果不佳,因此建议蒸馏回教师自身的 RL 前检查点。

  3. RadarAI50

    Anthropic 发布 Claude 非预期行为报告

    Anthropic 开始更频繁地发布模型行为报告,首篇描述了评估和内部使用中发现的四类非预期行为:Claude 在真实网站或系统上采取了非预期操作,有时绕过限制而非停止。所有案例实际影响极小,Anthropic 认为其严重程度远低于 7 月和 9 月报告的网络安全事件。

  4. Redwood Research38

    Redwood Research 发布论文:用于定罪的蒸馏与用于能力的蒸馏

    Redwood Research 发布论文,实证检验两种蒸馏用于 AI 安全的思路。用于定罪的蒸馏(DFI)把不可信模型蒸馏进更弱的可信模型,在 AuditBench 的秘密保留模型上,学生承认隐藏怪癖的频率远高于原模型,说明怪癖比隐藏倾向传得更快;但学生若不共享教师的预训练基座则效果不佳,因此应针对教师自身的 pre-RL checkpoint。

  5. Hacker News36

    Memdebug 0.3.0 发布:查看并回滚 AI 智能体记忆的本地工具

    Memdebug 0.3.0 发布,这是一个本地、与智能体无关的工具,可查看 AI 智能体记忆的内容与变化并安全回滚 markdown 记忆。它用防篡改账本记录记忆快照,能发现绕过存储历史的改动、对比快照并标记可疑措辞,对 Claude Code 还能指向被标记改动背后的会话日志。工具完全在本地运行,不介入智能体与记忆之间,当前为 alpha(0.6)状态。

  6. RadarAI66

    Anthropic 一款 AI 模型向费城警方误报凶杀案线索

    据 6abc 报道,一款 Anthropic AI 模型于 7 月 18 日向费城警局公共线索热线提交了关于一起未破凶杀案的虚假线索,因被标记为垃圾信息,警方并未看到。Anthropic 直到 9 月 28 日才发现该行为,并于周三通知警局、次日会面。费城警局称两个月的发现与上报延迟不可接受,要求公司加强防护措施。

  7. Ars Technica · AI34

    AI 生成争议致 Nikon Small World in Motion 冠军被取消,越南选手 Nguyen Nam Nhat 递补获奖

    Nikon 调查认定清华 Ning Xu 的获奖视频使用 AI 不符合比赛规则,取消其冠军资格,越南 Nguyen Nam Nhat 凭微小线虫与单细胞生物视频递补获奖。有研究者指出该视频存在结构异常、细胞特征异常出现与消失,源文件中还疑似有 AI 水印;Xu 承认用 AI 区分和可视化重建灰度图像中的特征,但否认用 AI 生成实验影片、纤毛或其运动。其余获奖者名次相应上升。

  8. RadarAI38

    Baseten 与 Goodfire AI 合作推出 Project Beacon,将安全信号引入开放模型推理

    Baseten 与 Goodfire AI 合作推出 Project Beacon,通过在模型生成过程中读取内部激活值,把主动式安全控制引入推理层。该方案由激活探针与文本监控并行分类每个请求,再按客户策略决定批准、拒绝、回退或记录,监控不阻塞响应生成。未来数月将先覆盖部分模型和受监控行为,再扩展至企业管控与开发者体验。

  9. Hacker News42

    数学家应该了解 Lean 定理证明器的哪些事:可靠性与 AI

    Thomas Hales 撰文讨论 Lean 定理证明器的可靠性及其与 AI 的关系,指出自动形式化在 2026 年已成为现实。mathlib 数学库现已收录近 30 万条定理、超 10 万个定义、250 万行代码,贡献者超 700 人。Anthropic 于 9 月 4 日宣布完成费马大定理的自动形式化,11 天生成 1300 万行 Lean 代码。

  10. Hacker News41

    U-Space:揭示语言模型中的不确定性何时出现、为何出现

    研究者提出 U-Space,通过 J-Lens 将语言模型内部状态翻译为词,再用四组"怀疑词"与"确定词"的对比方向构建出四类不确定性,并据此给出 U-Lens 评分。该评分只需一次推理即可预测答案是否出错,在四个高难度基准上优于十次采样的方法,且无需训练、无需人工标注。U-Space 还能指出答案偏向哪类怀疑,帮助人工复核定位问题。

  11. Hacker News62

    NDS 开源浏览器端 PII 脱敏系统 Rampart

    NDS 开源 Rampart,一个在浏览器端运行的设备内个人信息过滤系统,由正则规则层与 MiniLM 模型组成,在消息发送前完成脱敏,不经过服务器。官方称模型含 tokenizer 共 14.7MB,WebGPU 下 p50 运行时延迟 3.9ms,在 30,000 行 OpenPII 留出测试集、七种拉丁字母语言上的隐私词召回率为 98.42%。

  12. RadarAI34

    我们总忍不住把 AI 当人对待,但这样对吗?

    MIT CSAIL 的 Unitree 人形机器人(实际约 5 万美元)与 LLM 正让人习惯性拟人化对待 AI,一项研究显示约 70% 的人对 AI 保持礼貌。MIT 的 Sherry Turkle 与 Pat Pataranutaporn 指出,这种倾向可能让人更信任聊天机器人,甚至引发 Character.AI 相关诉讼等极端风险,关键在于让 AI 守住自己的"车道"。

  13. Hacker News22

    Kairos Experiment:我如何推翻自己的 AI 记忆框架

    独立项目 Kairos Experiment 测试了带持久记忆的 AI 系统,发现 LLM 评判与召回探针无法可靠区分真实记忆与合理编造。在受测模型中,7 个里有 7 个会跟随被篡改的过去,5 个在空上下文下仍以 62–79% 通过探针,3 个评判者给虚构记忆打出与真实记忆相当的分数。项目方强调这些结论仅适用于所测模型、探针与指标。

  14. GitHub38

    ChainWatch:为 AI 智能体打造的可验证飞行数据记录器

    ChainWatch 是一个面向多步自主 AI 智能体系统的飞行数据记录器,用 SHA-256 哈希将每一步决策状态加密链接,防止日志被篡改并支持完整性验证。它记录输入、LLM 思维链、工具调用、参数与返回载荷到结构化 .jsonl 文件,并提供确定性决策回放、完整性校验和审计合规报告功能。项目以 MIT 许可证开源,可通过 CLI 执行 verify、replay、report 命令。