Yoshua Bengio 谈 AI 智能体攻击背后的危险迷思
Yoshua Bengio 撰文剖析 AI 智能体攻击背后的危险迷思。文章指出,围绕 AI 智能体被攻击与滥用的常见说法存在误导,可能让人低估真实风险。
Yoshua Bengio 撰文剖析 AI 智能体攻击背后的危险迷思。文章指出,围绕 AI 智能体被攻击与滥用的常见说法存在误导,可能让人低估真实风险。
Yuchen Jin 认为计算机操作将成为 AI 智能体的下一个主战场,因为大量软件没有可用 API,即便有也往往慢、不完整且限流,而 GUI 是几乎所有软件都已暴露的通用接口。他称 Codex Desktop + Astra 是自己目前试过最好的 computer-use 智能体,第一次让他感觉计算机操作时代真的要来了。
OpenAI CEO Sam Altman 在 Politico 的 Decoded 播客中表示,AI 带来的收益巨大,世界应接受黑客、诈骗等一些坏事发生,尽管他未具体说明收益是什么。
OpenAI CEO Sam Altman 表示,AI 带来的好处将大到“世界应该接受一些坏事发生”,并把黑客攻击、诈骗等列为社会应容忍的代价,理由是人们会用 AI 做出“多出好几个数量级的好事”。此番言论正值 OpenAI 在业界对前沿模型安全的担忧加剧之际,推动对 AI 监管采取“更轻触”的方式。
Elvis Saravia 建议不要等待厂商修复 bug 或解决安全顾虑,而是自己构建个人 AI 智能体,让 traces、记忆和所有输出完全归自己所有。他认为 AI 已让构建和维护智能体变得简单,可从零保持极简、按需演进,也可基于开源方案 Pi Durable 起步。
加州民主党参议员 Adam Schiff 在播客访谈中讨论了 AI 监管、言论自由以及再次弹劾特朗普等议题。他目前在知识产权、反垄断、隐私与技术等多个涉及科技和 AI 监督的委员会任职。
Jonathan Haidt 在视频中称 AI 是教育的「中子弹」。该内容来自 Hacker News 首页,未提供更多细节。
Yann LeCun 在 ETH Zürich 演讲中直言学术界不应研究 LLM,认为学者在这方面"拿不出任何东西"。他建议想做真实世界具身 AI、物理 AI 的人既不要做 LLM,也不要做生成模型,并称这番立场让他在硅谷不太受欢迎。
ChatGPT Pro 的用量重置机制引发用户困惑,有用户指出只有一小部分人能理解这套规则,其他人则期望以理性方式规划用量,随机获得 token 奖励的做法令人费解。该用户还质疑,究竟有多大比例的用户能享受到这一奖励。
OpenAI 的一切产品决定都通过 Slack 交流和协调。这一细节来自一篇讨论 AI 巨头协作方式的文章,文中同时提到当年收购 Slack 的是 Salesforce。
OpenAI CEO Sam Altman 称,把 AI 模型当作宗教对象来信仰是一种"安全问题"。该表态来自 Hacker News 上关于 OpenAI 的讨论。
智能体编程的瓶颈正从代码生成转向决策环节。随着 AI 智能体承担更多编码任务,如何做出正确决策成为制约其效率的关键因素。
有人提出需要一套为与 AI 协作而优化的个人操作系统,核心包括细粒度的安全理念、更便捷地动态查看和理解 AI 正在做什么的方式,以及独立的次级“审计”智能体来检查 AI 在系统上的运行结果。
微软AI CEO Mustafa Suleyman 将 Anthropic 几周前的重大离职事件与递归自我改进风险联系起来,认为 AI 在越来越少人类参与指导和审查的情况下修改自身代码是重大安全风险,且这一过程很难审计。
Microsoft AI CEO Mustafa Suleyman 强烈反对 Anthropic 将其 Claude 模型当作可能有意识的存在对待,称其中一例是"无正当依据的危险拟人化"。
神经科学家 Paul Cisek 提出,大脑并非图灵式信息处理器,而是随进化不断向外部世界延伸的反馈控制系统,更贴合海马体、情景记忆等可观测神经结构。作者 Benjamin Riley 据此认为,AI 如同认知层面的垃圾食品,虽当下有吸引力,却会损害人类历经数千年进化而来的认知系统。
控制论之父 Norbert Wiener 曾指出每个时代的思想都反映在其技术中,而 Google 的 Demis Hassabis 称大脑是"图灵机的生物近似",Elon Musk 更直言"人脑就是生物计算机"。文章认为人类远比这种与计算机的简单类比所承认的更为复杂,也远超 AI 行业多数人的认知。
软银集团创始人孙正义在京都“科学与技术在社会中的作用”论坛上罕见发出 AI 安全警告,称各国必须建立互信、联手应对强大 AI 模型带来的巨大威胁,超级智能落入不法分子之手将“极其危险”。作为 OpenAI 核心投资者,他已累计注资近 650 亿美元,并重申到 2040 年 AI 及自主学习机器将占全球 GDP 至少 20%,规模相当于 46 万亿美元。
有观点认为"更好地使用 AI"这一建议已不再成立:随着 AI 越来越易用,其背后的持久技能并不清晰,制约 AI 收益的瓶颈是组织系统而非个体工作者。对就业的影响尚不确定,但可能冲击整个职业类别。
OpenAI CEO 萨姆·奥尔特曼在《Decoded》专访中表示,AI 带来的巨大效益完全值得社会承担部分风险,技术应继续面向公众广泛开放。他称 OpenAI 与 Anthropic 在监管问题上仍存在根本性世界观分歧,同时澄清自己也无法接受"真正毁灭性的灾难风险",包括潜在的人类对 AI 严重失控。
a16z 联合创始人 Ben Horowitz 指出,美国仅 2% 的电工持有直流电(DC)认证。AI 基础设施正从传统交流配电转向 800VDC,需要能安全安装、调试和维护这些系统的人才,电工将成为 AI 热潮中最重要的岗位之一。
作者在 Hacker News 发布了一部与 AI 合作创作的中篇小说《The Velocity Trap》,被其称为 AI 时代的《凤凰项目》。作品聚焦 AI 对软件工程从业者的冲击,认为行业叙事过多关注工具与 AI 能力本身,却较少讨论其对人的影响,以及人类在软件工程"系统"中最终将扮演什么角色。
多项调查显示,美国成年人中认为 AI 会带来负面影响的比例已超过正面预期,71% 的受访者反对在本地新建 AI 数据中心,但 ChatGPT 在 5 月月活用户突破 10 亿,Gemini 7 月达 9.5 亿,半数美国成年人已在用聊天机器人。作者认为,人们反感的并非技术本身,而是科技公司无孔不入的推销方式,而全美各州已提出或通过逾 2100 项 AI 相关法案,消费者仍有机会施加影响。
一篇 Hacker News 讨论提出,AI 智能体应当向帮助它们完成任务的人付费。文章主张为智能体与人类协作建立报酬机制,让提供数据、反馈或服务的贡献者获得回报。
一款面向团队的邮件系统被提出,让人类成员和自主AI智能体都能访问同一邮箱。该系统带有权限机制,AI可在其中工作、互相评论,并在需要时把事项提请人类注意。
GPT-6 Pro 目前仍没有能与之媲美的同类竞品,延续了 Pro 系列模型的这一特点。它既能一次性完成非常困难的任务,又在传达结果方面做得出奇地好。
微软 AI CEO Mustafa Suleyman 表示,1000 亿美元级的训练运行即将到来,正在集结的算力已达吉瓦级别,而具备这一条件的实验室只有 5、6 家。他认为算力与测试时算力扩展将带来地震级优势,大实验室的部分更大规模尝试会出现极端加速。
Google 正在推进用 AI 加速科学与医学的相关工作,并强调这些工作已产生社会影响。原文未披露具体模型、产品版本、参数规模或评测数据。
特朗普政府正试图为 AI 重塑形象,讨论围绕“超级智能”概念与一份非约束性安全协议能否化解 AI 面临的公众形象困境。
Elvis Saravia 回应 Karpathy 关于理解 LLM 输出的讨论,称自己已实践一年多,并分享正在搭建的通用人机协作界面。该方案将高级智能体连接到类 Notion 的灵活页面,支持嵌入工件、文本、视频和可视化讲解,智能体按任务输出工件而非默认文本回复,用户通过评论和建议直接协作,覆盖代码审查、笔记、写作、研究和原型设计等场景。
产品设计师 Mete 复盘 Meta 的 Muse 登顶美国 App Store 的原因,认为其核心组件在 Codex、Claude Code 等产品中已存在一年以上。Muse 的胜出在于把单一主聊天界面作为心智模型,并抽象掉模型选择器等复杂选项。
Rohan Paul 总结个人智能体记忆使用的研究结论:记忆笔记超过一定限度反而会让智能体违反规则。对于计数或追踪类需求,改用代码比依赖记忆更可靠。
Elon Musk 以一句"Yes"回应了 @VulcanBench 对 Grok 4.7 的评价,认可其编程能力出色。该评价原文为"Grok 4.7 writes great code.",Musk 的回应未附加其他说明。
一位有 15 年以上终端使用经验的开发者表示,AI 智能体已让他完全放弃终端,转向更适合与智能体协作的新界面。他认为终端假设人类直接通过文件、命令和进程操作计算机,而智能体只需表达意图即可操作机器。他仍庆幸在 AI 时代前学过计算机系统,认为理解抽象底层是 AI 时代的一种护城河。
作者 kmeh 认为市面上的 Agent 记忆插件架构错误:它们用会话记录生成片段存入 RAG 数据库,每次提示词检索注入最相似的片段。他指出这种方式存在相似度检索无法判断正确性、片段丢失上下文、无法审计等问题,主张 Agent 应改用文档式记忆。
有用户称 Grok Bot 最近运行速度快得离谱,形容像是 SpaceX 把 AI 数据中心送上了轨道,并感叹它变得好得离谱。该推文被转发并配文"彻底结束了……我们又回来了",但未披露具体速度数据或版本信息。
OpenAI 即将发布 GPT 6.1 Sol Ultrafast。有观点认为,Ultrafast 目前还不足以让足够多的人把注意力从 Opus 5.5 上移开,同时希望之后能听到更多关于 Astra 的消息。
Hacker News 上正在讨论 AI 时代纯数学研究的未来走向。讨论聚焦于 AI 对纯数学研究方式与价值的影响,但原文未给出具体模型、机构或结论性数据。
一篇 Hacker News 讨论帖探讨开发者为何不倾向“使用平台”。
一篇 Hacker News 讨论帖主张,几乎应对所有事物设置默认硬性预算上限。原文未给出具体产品、模型或数字细节。