TypeSafe AI 发布 Jev 1.14:新增图像、Box 类型与 262k 上下文
TypeSafe AI 发布 System One 决策模型 Jev 1.14,以 jev-preview 别名上线,新增图像输入、Box 边界框类型和 262k 长上下文三项实验性功能,官方称均未达到生产可用。
TypeSafe AI 发布 System One 决策模型 Jev 1.14,以 jev-preview 别名上线,新增图像输入、Box 边界框类型和 262k 长上下文三项实验性功能,官方称均未达到生产可用。
NVIDIA 预告下周将发布一款新模型,可能落在周三 21 日的 GTC 活动上,外界猜测是近期在官方文档中现身的 Nemotron 3.5 Super VL。该模型为 120B 总参数、12B 激活参数的混合 Mamba-Transformer MoE 架构,支持图像与视频输入,并有纯文本版本。
视障倡导者曹文伟借助商汤 AI 办公助手 Raccoon Work 构建了"Light Bridge AI"工作流,可为视障及多重残障学生生成定制学习材料、学习计划和教学计划,并利用图像理解能力独立审阅 PPT 幻灯片。该工作流还能处理含文字、图片和表格的长文档,使其更易被屏幕阅读器读取,并在商汤 Raccoon Work OPC 挑战赛决赛中获得银奖。
JEV 1.14.0 新增多模态能力,可同时处理文本和图像数据,并引入图像区域检测的 'box' 类型。该版本将上下文长度扩大至 262K,同时优化多语言理解能力,更适合图像编辑、视频剪辑分析等视觉-语言任务。
一款音视频学习 Chrome 插件正式上架谷歌官方商店,支持 YouTube、B 站、小宇宙、抖音、TikTok 的字幕转写、翻译、视频下载和 AI 对话。用户可通过快捷键(三个 a)进入学习模式,并将笔记保存至 Obsidian。
Kombaico 发布 Design Creativity Bench,评估 34 个模型的 UI 设计创造力,最佳模型 GPT-6 Astra 得分 65.5,人类参考为 92.3。AI 在功能适切性上表现良好,但原创性与创意广度严重不足,训练可能过分追求平均一致而牺牲独创性。
公众号数字生命卡兹克分享并实测开源 Skill Anatomy,其理念是物体本身就是解释,可将抽象原理做成可交互的机械模型动画。该 Skill 还能在动画基础上生成带讲解配音的科普视频,作者称一句话即可让 AI 生成任何原理的科普视频。
YouTube 于 10 月 14 日公告,在 YouTube Music 上线 AI 音乐标注功能,后续将同步扩展至主 YouTube 应用。被识别为主要使用生成式 AI 创作的歌曲,会在歌名下方、艺人或频道名称附近显示 AI 椭圆形标签,点击后可查看这首歌如何使用 AI 的详细说明。
一项审计发现,多模态 AI 模型的临床价值主张普遍超出证据支持。研究审计了 177 项比较多模态与单模态模型的研究,当每个数据源单独建模时 AUROC 增益更小(调整后差异 -0.030);完整基准测试比例从综述研究的 69.1% 降至近期研究的约 46.0%。仅约 22% 评估决策效用,无一开展前瞻性评估,但 84.0% 和约 87.7% 仍声称具有潜在临床价值或改善护理。
TypeSafe 发布 Jev 1.14.0,并以免责的“danger zone”API 开关形式开放图像、box 类型和更长上下文三项实验功能。图像能力通过 assets 中的查找替换实现,可放入 state、instructions 或 criteria;box 返回单个边界框,仅 jev-1.14.0 支持。
OpenRouter 上线 Clef Omni 的音频与视频输入能力,支持音频、视频、图像、文本四种模态一次调用,输出概率而非 token。输入定价 $0.15/M,输出免费。Cloudflare 同时为 Clef 决策模型家族新增 Clef-omni,并将 Clef-flash 降价、Clef 推理速度最高提升 2.0x。
OpenRouter 演示了在 Chat Completions 中输出多模态概率的用法:把 image_url、input_audio、video_url 等部分放进 state,提出选择题即可拿回概率。整个请求为 801 个输入 token,花费 $0.00012。
Jev 1.14 发布,新增图像输入、box API,质量更好、上下文更长。Databricks 宣布与 TypeSafe 合作,将新版 Jev 带给其客户。该版本面向早期采用者与探索者,并设有开关让用户自行选择进入"危险区"。
YouTube 在 YouTube Music 上线 Made with AI 标签,标注经 AI 改动或完全生成的曲目,今日起在 YouTube Music 应用推出,后续扩展到主 YouTube 应用。该标签适用于使用生成模型创作作曲和人声等场景,点击播放页标签可查看详情;未主动披露时 YouTube 可能依据其他信号判定。
北京智源人工智能研究院院长黄铁军在我国最早提出"大模型"概念,并带领团队在多模态 AI 领域取得突破。他参与 AVS 视频编码标准制定,解决中国视频产业专利困境,还发明脉冲连续摄影原理,颠覆传统摄影技术。30 余年来他始终将科研与国家需求紧密结合。
YouTube Music 于周三上线新的标注系统,帮助听众识别使用生成式 AI 创作的曲目,标注显示在播放页,点击可查看 AI 在作曲和人声中的具体作用,并会扩展到 YouTube 主应用。
Pangram CEO Max Spero 做客 Peter Gostev 节目,详解其 AI 检测训练流程,包括合成镜像、模型家族指纹、AI 辅助写作与图像检测,以及对 AI 去痕工具的鲁棒性。他还谈到团队如何选择基础模型、寻找困难训练样本,并构建数据与基础设施以跟上新 AI 模型的步伐。
Google 展示用 Argon 负责物理、运动与视频渲染,并由 Lyria 3.5 生成并同步背景音乐,制作出傅里叶本轮风格的鹈鹕骑自行车动画。提示词要求慢速揭示的傅里叶本轮视频、3D 子弹时间效果,并参照附图风格添加电影感配乐。该演示由 @fofrAI 通过 @Antigravity CLI 完成。
Google 展示了用 Argon、WebMIDI 和 Three.js 制作 3D 乐器的方法,作者为 @alexanderchen。该内容通过 WebMIDI 接入 MIDI 输入、Three.js 渲染 3D 场景,Argon 负责在浏览器中构建 AR 体验。
YouTube Music 周三宣布推出新的标注系统,用于标明借助生成式 AI 创作的歌曲,标注会显示在播放页,点击可查看 AI 在创作中的具体作用,该标注也将扩展到 YouTube 主应用。
LiquidAI 开源 LFM2.5-24B-A2B,总参数 24B、激活参数 2B,基于 Gemma 4 的视觉-语言模型。该模型在量子校准基准测试中超越 Qwen 3.6-35B-A3B,但略逊于 Qwen 3.8。
Google AI 展示了一个由 Argon 在 antigravity 中构建的交互式 5 阶段视觉图集,可将教科书生物学转化为浏览器中的动手体验。用户可从阳光下的叶片一路滚动深入到亚细胞叶绿体,该模型结合流畅动画与科学精确性,展示了构建复杂科学教育工具的方式。
SpaceXAI 的 TypeScript SDK 示例集 cookbook 已更新,包含 25 个示例。这些示例覆盖一句话前提生成短片、一张照片生成延时摄影、会说话的照片、产品图生成视频广告、视频配音、实时语音翻译等场景。
Simon Willison 为 llm-gemini 插件加入对 Gemini 4 Argon 的支持,该模型当天通过 Gemini API 和每月 100 美元订阅计划开放。
Apple 提出首个从零预训练的三模态掩码扩散模型(MDM),在文本、图文和音频-文本数据上联合训练,并系统分析了多模态缩放规律、模态混合比例、噪声调度与批大小影响。其基于 SDE 的重参数化将物理批大小与逻辑批大小解耦,免去最优批大小调参。初步模型在 3B 规模(6.4T tokens)下于文本生成、T2I 和 T2S 任务均取得强劲结果。
Fud AI 是一款面向 iOS 和 Android 的开源、隐私优先卡路里追踪应用,支持自带 AI 提供商,包括 Gemini、OpenAI、Claude、Grok、Groq、Hugging Face、Fireworks AI、DeepInfra、Mistral 及任意 OpenAI 兼容端点,共 13 家。
Meshy 宣布其 3D Agent 结束 Beta 阶段,正式向所有用户开放。用户可通过一段对话描述构想,批量生成概念图并转为 3D 模型,再用于 3D 打印或导入游戏引擎。官方称其更智能、更快,更能理解用户的创作意图。
DigUp 是一款开源的 Mac 菜单栏搜索工具,利用 Google 的 EmbeddingGemma 2 将文本、图像、视频等多模态内容转为向量,实现跨模态语义搜索,并支持直接跳转到视频时间点或 PDF 页码等具体位置。该工具旨在弥补原生 Spotlight 在富媒体内容检索上的不足。
Google DeepMind 向开发者、企业和付费 Gemini 订阅用户开放 Gemini 4 Argon,这是一款稀疏 MoE 前沿模型,单次响应最多可输出 1M tokens,输入与输出共享 1M 窗口。
同一新闻,精选展示《Google DeepMind 发布 Gemini 4 Argon》
面壁智能与 OpenBMB 开源 MiniCPM-V 4.7,包含 35B-A3B 和 1B 两个版本,其中 35B-A3B 是 MiniCPM-V 系列首个 MoE 模型,约 3G 内存即可在 iOS、安卓设备上运行。
推荐理由:面壁开源 MiniCPM-V 4.7,给出 35B-A3B 在手机端 3G 内存运行的具体实测与压缩数据,可据此判断端侧多模态的落地边界。
Google 的 Gemini 4 Argon 今日正式 GA,覆盖编码、知识工作、企业工作流与网络防御,接入付费 Gemini API 与 Gemini 平台、Gemini 应用中的 Google AI Pro 和 Ultra、Search 的 AI Mode 以及 Antigravity 的 Ultra。
OpenBMB 发布 MiniCPM-V 4.7,为 35B-A3B 开源 MoE 多模态模型,在 iPhone 17 Pro Max 上仅占 3GB 内存,解码速度 13+ tokens/s,模型已在 Hugging Face 和 GitHub 开放。
一位中国女孩用 AI 分析自己的卧室照片,并通过超现实的 AI 视频演示了她整理房间的过程。该故事由三个三创作,展示了技术如何帮助人们理解和改善生活环境。
用户 lencx_ 展示了用 Gemini 4 Argon 生成傅里叶环形视频的方法,画面以慢揭示效果呈现一只骑自行车的鹈鹕,并由 Lyria 3.5 配上同步背景音乐。该示例演示了 Gemini 4 Argon 在视觉与声音上的创作能力。
Ethan Mollick 在 X 上展示了 Gemini 4 生成 TikZ 独角兽的效果。他同时回顾称,从 GPT-4 到 GPT-6,Sparks 是一篇颇具前瞻性的论文,当时虽遭到不少质疑,但基于大量定性实验,准确预判了 LLM 的发展方向,如今看来值得肯定。
Meta 发布 Muse Wonder 和 Muse Wonder Full,定位面向长期运行的 agent 任务,支持 1M token 上下文和文本、图像、视频、音频输入。
Simon Willison 更新 llm-meta-ai 插件,加入对 Meta AI 新发布的 Muse Wonder 和 Muse Wonder Full 的支持,他称这是 Meta 目前最强的模型。
Google 展示了一个用 Antigravity 端到端搭建的解魔方机器人:在 Blender 中为机械臂建模,在 Three.js 中运行实时 3D 仿真,并通过 Interactions API 完成魔方求解。
Google 展示 Argon 的 3D 建模与空间推理能力,用户 @thtbee_ 在 @Antigravity 中借助 Argon 可视化了"蜜蜂的日常生活"。
Gemini 4 Argon 通过 Antigravity 框架,从单一提示词出发建模出复杂的三维日本寺庙建筑群。该过程由协调、批评和生成等多个专项智能体协作完成,经过多次迭代,并与视觉参考图精确对照。