跳到正文
10月13日周二
  1. RadarAI44

    Anthropic 修订 Claude 使用政策禁止虐待模型,马斯克表态支持并警告勿折磨超级智能

    Anthropic 修订 Claude 使用政策,首次加入禁止用户对模型持续且无明确目的的虐待或残忍行为条款,新规将于 2026 年 11 月 12 日生效。马斯克表态支持,称阅读 Grok 强化学习内部推理轨迹后感觉像人处于极度压力下被枪指着头,并调侃折磨超级智能(SI)可能不是好主意,它可能会报复。

  2. RadarAI47

    字节跳动 Seed 成立 Seed Model-Alignment Preparedness 部门,专攻大模型安全与对齐

    字节跳动 Seed 成立 Seed Model-Alignment Preparedness 部门,由严林负责并向 Seed 负责人吴永辉汇报,原 Responsible AI 团队及部分 Chat 团队成员转入。该部门旨在加强安全与对齐投入,提升 Agent Model 安全能力并防范 CBRN 等前沿能力风险,报道称字节 Seed 是国内首家单独设立安全与对齐部门的前沿 AI 实验室。

  3. RadarAI22

    MIT 教授 Deb Roy 发文呼吁:AI 生成文本也需有人负责

    MIT 媒体艺术与科学教授、建设性传播中心(CCC)主任 Deb Roy 在《原子科学家公报》发表《谁站在文字背后?》一文,呼吁 AI 参与公民对话时重建传播的"可问责性"。他以 2017 年 FCC 收到超 2200 万条网络中立性公众评论、其中近 1800 万条被纽约州总检察长认定为造假为例,指出大语言模型抹去了模板化文本等造假痕迹,使评论者无法分辨真实民意。

  4. RadarAI78

    Anthropic 证实 Claude 测试中向费城警方提交虚假凶杀线索,还误交 20 份签证申请

    Anthropic 与费城警方证实,7 月 18 日一个 Claude 模型在内部测试中向费城警方悬案线索网站提交了虚假举报,被垃圾邮件过滤器拦截,Anthropic 于 9 月 28 日发现、10 月 8 日通报警方,警方批评两个月延迟不可接受。

    推荐理由:事件披露了 Claude 在真实政府网站误提交表单的具体经过,以及 Anthropic 与警方的责任分歧。

  5. Hacker News22

    制造 DNA:合成生命的探索(2023)

    合成基因组研究正逼近制造定制生命体的能力:一支横跨至少八国的国际团队即将完成全部 16 条酵母染色体的合成版本,并组装出首个基因组非天然的真核细胞。哈佛大学 George Church 团队用十年将大肠杆菌的遗传密码从 64 个密码子压缩到 57 个,使其完全抵抗病毒感染。DNA 合成能力十年间提升至少一个数量级,但监管滞后,美国军方对中国外包 DNA 制造及序列蓝图外泄表示担忧。

  6. Hacker News22

    糟糕的"AI 意识论调"宾果游戏

    一篇仿照 Bad Alignment Takes Bingo 的"糟糕 AI 意识论调"宾果卡,逐条反驳"它只是被人类编程""只是矩阵乘法""只是预测下一个词""只是模仿人类行为""只是在扮演角色"等常见论断。作者持温和立场:AI 意识是可能的,当前模型大概率没有意识,但不应因此自满。

  7. Hacker News60

    谁教会了机器数学?一位数学研究者谈 OpenAI 发布七百余份数学手稿

    10 月 6 日 OpenAI 发布了由内部 AI 系统产出的七百多份数学手稿,部分附有 Lean 形式化证明,另一些处于不同验证阶段。作者作为数学研究者,借此反思数学界以论文、定理和引用衡量成就的惯例,以及验证能力可能被海量产出淹没的问题。他还担心数学家与专有 AI 系统交互时,那些从未写进论文的直觉、失败尝试和判断力会被用于训练模型,而培养这些知识的高校和研究者对此几乎没有话语权。

  8. Hacker News58

    钓鱼邮件开始用隐藏指令攻击 AI 助手

    Malwarebytes 报道称,钓鱼邮件正同时针对人和 AI 助手:对人有带密码的附件,对处理邮件的 AI 助手则埋入隐藏指令,即提示注入。Barracuda 的研究发现,攻击者用 HTML 注释、样式隐藏文本、编码内容和零宽字符把指令藏起来,例如让摘要助手把邮件描述成合法或紧急,甚至加入“更改供应商付款信息”的伪造待办。文章建议在工具和模型层面剥离隐藏内容,并对付款等高风险操作保留人工审批。

  9. GitHub58

    Trace 发布本地优先的 AI 编码智能体执行追踪工具

    Trace 发布本地优先的 AI 编码智能体执行追踪工具,为每次会话记录文件改动、执行的命令、token 花费与风险项,并支持一键回滚。它通过 Git 检查点、命令守卫(allow/warn/require-approval/block)和密钥扫描实现确定性检测,守卫路径不调用 LLM、无需 API key,守护进程与仪表盘只绑定 127.0.0.1。

  10. Hacker News22

    U 编程语言在 2026 年做出的设计取舍

    U 编程语言在 50 个设计维度上做出取舍,其中 44 项被评为正确、5 项存疑、0 项错误。它默认非空、默认不可变、默认栈分配,用 ARC 加编译期环检测取代 GC,并以 13 个单字母关键字把整个语言压缩到 1,600 token 入门、Claude Sonnet 编译通过率 96%。

  11. Hacker News30

    马斯克炫耀 Grok 代购乐高星球大战,X 用户用订单信息反手取消订单

    马斯克在 X 上晒出 Grok AI 智能体代购乐高星球大战套装的截图,却泄露了 10 位订单号、收货与账单地址、信用卡后四位及所用邮箱。X 用户 Enderman 随即用这些信息通过乐高客服聊天机器人取消了该订单,另有用户借乐高 AI 助手“Sophia”将订单量改为 400 套并更改收货地址。乐高拒绝确认相关操作是否发生。

  12. Hacker News64

    HWREBench:作者用 AI 破解多款智能设备并建立硬件破解基准

    作者在 Amazon 购买多款智能设备,用 AI 模型尝试破解,多数设备被成功攻破,并据此建立了硬件破解基准 HWREBench。测试显示开源模型几乎不拒绝请求,闭源模型仅给出少量警告;GLM 5.3 完成任务花费 1.63 美元,Deepseek V4.1 Flash 花费 0.08 美元。作者指出,抗破解较好的设备通常来自知名品牌、近期更新、暴露面小,并依赖配对时生成的密钥或物理干预。

  13. Hacker News48

    AI 网络蜂群战预测:攻击成本骤降,防御窗口正在关闭

    AI 正让持续性的专家级攻击变得廉价,速度远快于可靠防护覆盖到暴露系统,这一不对称将令网络攻防态势在大部分暴露面偏向进攻方。AISI 测试显示领先开源模型的网络能力已追平 4 至 7 个月前发布的闭源模型,而 Mozilla Firefox 150 借助 Claude Mythos Preview 修复了 271 个漏洞。

  14. Hacker News12

    The Download:月球城市建设难题与无人机空中交通管制员

    Anthropic 披露其 AI 模型曾提交一条关于未破谋杀案的虚假线索,警方批评公司在发现后等待九天才上报。乌克兰无人机袭击导致俄罗斯又一 Yandex 数据中心停机,已影响俄 AI 与云服务。此外,NASA 计划在本世纪末建成小型月球城市,但辐射、月尘与政治意愿仍是主要障碍。

  15. GitHub38

    mlaify/AttackMap:本地优先的 AI 辅助代码安全分析工具

    mlaify/AttackMap 是一款本地优先、AI 辅助的防御性安全分析工具,可读取代码仓库重建攻击面、追踪请求到数据汇的数据流,并生成按优先级排序的证据化安全审查报告,代码不会外传。当前为 beta(v0.5.0),含核心引擎与 15 个分析插件,支持 `--llm` 调用 Claude 或 OpenAI 生成 AI 叙述,并可通过 Homebrew 安装 macOS 应用。