Clover Framework:Kimi K3 前向传播单机复现框架
Clover Framework 开源了 clover-k3,将 Kimi K3 前向传播还原为数学表达式并在 Ryzen 9 7950X3D 单机上直接执行,在全部 34 个测试提示上输出与独立实现相同的首个 token,耗时 394.94 秒对 1344.23 秒,加速 3.40 倍。该模型参数量为 2.78 万亿,单独生成运行平均每 token 约 6 秒,但并非分布式系统或通用质量结果。
Clover Framework 开源了 clover-k3,将 Kimi K3 前向传播还原为数学表达式并在 Ryzen 9 7950X3D 单机上直接执行,在全部 34 个测试提示上输出与独立实现相同的首个 token,耗时 394.94 秒对 1344.23 秒,加速 3.40 倍。该模型参数量为 2.78 万亿,单独生成运行平均每 token 约 6 秒,但并非分布式系统或通用质量结果。
田渊栋在 The Information Bottleneck 播客访谈中指出,递归自我改进的真正瓶颈在于「想不出好问题」:模型靠海量数据擅长重复工作,需靠新架构实现少数据高效学习,人类则转向更高层的提问与验证。他回顾了从 Dark Forest 到 Meta FAIR 的研究路径,并提到 2012 年 AlexNet 让他从计算机视觉非凸优化转向深度学习。
用 Qwen/Qwen3-1.7B 通过约束解码把输出限制在 A-E 五个选项内,单次前向即可给出答案,在 CommonsenseQA 随机留出样本上准确率 725/1221(0.5938),微调后提升至 762/1221(0.6241)。但模型输出概率严重过度自信,0.9-1.0 置信区间准确率仅约 70%,作者用温度缩放拟合出 3.797 的温度值来校准。
Eliastik 发布带 AI 的贪吃蛇游戏 snakeia v3.2.0,支持玩家对战 AI、AI 独自游玩、2 至 100 个 AI 混战的 Battle Royale 模式,以及关卡和在线对战模式。
研究提出 Cavewoman 双通道评测协议,在 5 个数据集、5 种压缩级别下测试 8 个模型,同时衡量任务准确率、实际单条成本与参考文本一致性。输出压缩在多数 API 模型上把实际成本降至 1.4-2.4x(最佳 3x),四个开放权重模型在公开档定价下同样降本;输入压缩则相反,五基准均值成本升至约 1.15x,最差数据集 1.8x、更强压缩下 2.7x,且准确率下滑。
Google DeepMind 团队在 arXiv 发布论文,对用 LLM 生成 Lean 形式化证明来求解开放问题做了首次大规模评测。其最强智能体自主解决了 353 个 Erdős 开放问题中的 9 个,单题成本为几百美元,并证明了 492 个 OEIS 猜想中的 44 个,正被用于组合数学、优化、图论、代数几何和量子光学研究。
Cloudflare 于 10 月 9 日发布 Clef-Omni,在文本和图像之外新增音频与视频输入,可在一次 API 调用中直接返回结构化决策,省去单独的转写和媒体处理步骤。
作者在自研 SOP 执行 harness Proceda 中尝试用决策模型 Jev 承接部分 LLM 调用,在 SOP-Bench 的 360 个案例上测试了两种接入方式。
Aleph Alpha 的 Kolibri-1 模型正在直播玩《Doom》,由 Tesseracted Labs 搭建共享游戏环境,每轮结束后轮换两张地图。模型只接收结构化游戏状态而非图像,通过四次仅基于概率的评估分别选择移动、瞄准、开火和交互,再由本地控制器执行动作。页面显示的是选项标签 logits 归一化后的分数,并非校准过的成功概率。
François Chollet 用一张图说明 AI 已从转导范式(逐 token 补全答案)转向归纳范式(即时合成推理链),他认为这是 2025 和 2026 年的大故事,也正是编码智能体得以奏效的原因。
MIT 工程教育副院长 Justin Solomon 在播客中谈到,OpenAI 模型上个月给出了 Navier-Stokes 解失效的反例证明,但他和《Odd Lots》主持人读不到第二页。该内容由 X 用户 Saito 转述这一说法,并附上原帖链接。
推理扩展受限于约 1M tokens 的上下文窗口,压缩(compaction)通过摘要交接工作来延长会话,但每次压缩都是对"什么以后有用"的赌注。子智能体(sub-agent)把摘要推迟到问题已知之后再写,主智能体上下文只增加任务和答案的几千 tokens,因而比压缩更能提升总上下文容量,代价是子智能体答完即忘、需重复读取。
一项在 M2 Max 上进行的测试显示,Qwen 3.5 9B 与 Gemma 4 26B-A4B 无需额外决策微调,仅靠读取答案标签的 logits 直接打分,在 300 条自建问题上分别取得 61% 和 75% 准确率,Gemma 已接近测试中最高水平。
Vega 是一个决策模型,输入文本和答案类型固定的问题,返回标签、评分或陈述为真的概率,每个答案附带校准概率、可承诺答案集和拒答标记。它用冻结的 Qwen3.5-0.8B 读取一次提示词,池化出五个向量,在 64 维空间中给每个候选答案挖一个山谷,让粒子在梯度、动量和摩擦力下滚动十二步,落点即答案,落点方式决定温度,因此概率有实际含义。
TypeSafe AI 推出模型 Jev(jev-1.13.0),不做对话,只输出严格类型化的结构化结果,包含 Choice、Score、Noul 三种原语,每项答案附带各选项概率与置信度。例如 Choice 会给出选中项及各项概率,Score 按有序等级计算概率加权均值,Noul 则返回 yes 的概率。该设计针对 AI 一味附和用户、过度肯定的问题。
Sage 提出一种在程序运行时调用模型做语义判断的编程方式:同一份文档,正则匹配 SSN、信用卡号等已知模式会漏掉姓名和地址,而通过 `decide(doc, yesno("Contains personal information?
DASD-Thinking 是一款基于分布对齐序列蒸馏(DASD)的推理增强软件,支持 Windows 10 及以上、macOS 和 Linux,最低需 4 GB 内存与 500 MB 存储空间。相关模型权重已在 Hugging Face 和 ModelScope 开放,包括 DASD-4B-Thinking 与 DASD-30B-A3B-Preview。该软件可离线使用,目前仅提供桌面版本。
针对 Princeton Ouro-RLTT 循环 Transformer,该项目定位了隐藏态读出与生成控制之间的边界:决策级使用可转化,校准弃权在四个密封实验组中改善风险—覆盖权衡,强制终选在全部候选合规的池上以 27/32 对 64.8% 期望值通过精确匹配随机零假设(p = 0.0086);生成式控制则未转化,方向引导为既定负结果,逐任务循环深度分配为密封零结果。
LLM 推理分为 Prefill 和 Decode 两个阶段:Prefill 并行读入整个 prompt、瓶颈在算力(FLOPS),Decode 逐 token 自回归、瓶颈在内存带宽。
作者认为,未来几年 AI 的快速进步主要来自基础设施与工程能力的加速,模型将能自动优化训练与推理效率,推理成本或近指数级下降,预训练架构与数据选择研究有望在 2-3 年内自动化。但这不会让模型本质发生剧变,即便在数学和编程之外未必获得有经济价值的超人能力,技术向经济的扩散仍将大幅受益。
Nace AI 开源 9B 决策模型 Drex 1.5,读取状态和类型化问题后为每个选项输出概率,不生成文本。其在公开 Decision Index 0.3.1 上得分 58.08,与闭源模型 Jev 1.13.0(57.96)处于并列区间,权重已上架 Hugging Face,托管版在 OpenRouter 上按每 1M 输入 token 收费 $0.04、输出 $0。
微软发布 Microsoft-Decision-1,一个由 Qwen3.5-9B 后训练的决策评分模型,对固定选项输出校准概率而非生成文本,已上线 Microsoft Foundry 和 OpenRouter。
华盛顿大学团队用多智能体系统 VibeSys 在 4 块 AMD MI300A 上为混合 MoE 模型 Qwen3.5-397B-A17B 构建服务引擎,105 小时内将基线 PyTorch 引擎的 goodput 从 12.8 tok/s 提升到 2,242 tok/s,是同一硬件上调优后 SGLang(961 tok/s)的 2.33 倍,全程无人类编写引擎代码。
GitSwarm 提出累积推理,让一组相同智能体在共享、可分支的 Git 仓库上异步工作,每次尝试以 commit 形式保留,后续工作可扩展、验证、合并或反驳它。
Aleph Alpha 研究团队拆解自回归语言模型的架构选择对训练与部署成本的影响,聚焦参数与 FLOPs 分配、FLOPs 随上下文长度和序列混合器状态的扩展方式,并分析近期开源权重模型。文章以 Apache 2.0 许可发布的 Kolibri 和 Kolibri Origin 为参照,提供交互工具供配置模型并对比。
IncludeAI 是一个手写实现的零知识强化学习算法库,以 stb 风格单头文件形式提供,只需在代码开头 #include 即可接入通用博弈 AI。
清华、牛津与斯坦福的论文《Thinking Inertia: LLMs Keep Thinking When Told Not To》发现,即使关闭思考模式,LLM 仍会持续显式推理,开放性问题尤其明显。
清华论文提出 TokenRouter,一个在 token 级进行大小模型路由的服务系统,吞吐量最高达现有方案的 64.15 倍。针对 vLLM、SGLang 等框架一次请求只跑一个模型、双模型协作时每步都等慢模型的问题,TokenRouter 让每个模型独立部署并来回传递半成品答案,同时保留 KV cache,并短暂挂起请求以凑更大批次。
Aleph Alpha 发布开源权重双语模型 Kolibri,采用英德混合专家 Transformer 架构,总参数 78.1B、每 token 激活 3.46B,支持最高 100 万 token 上下文,权重以 Apache 2.0 许可在 Hugging Face 开放下载,可本地部署。
在 B200 上用 vLLM v0.31 跑 Qwen3-32B 的实测显示,NVFP4 在小批量解码时比 MXFP4 快,batch 1、8、32 的解码吞吐分别高出 7.1%、7.6% 和 4.2%,batch 64 以上差距消失。差异主要来自 kernel 实现而非 4.5 与 4.25 bits 的位宽差,NVFP4 从 BF16 量化后的 NLL 损失也小 2.7 倍。
微软发布 Microsoft-Decision-1 决策模型,专为结构化决策任务打造,现已上线 Microsoft Foundry 并接入 OpenRouter。该模型基于 Qwen3.5-9B 后训练,在 36 项基准测试中准确率最高,响应速度比 Quyet-1.0-Large 快 4.5 倍、比 GPT-6 Sol 快 35 倍。定价为每百万 Token 输入 0.042 美元,输出免费。
Google 在 Antigravity 隐藏项中新增 Gemini 4 Argon 模型引用,支持 low、medium、high 三档推理强度;Gemini 网页端也已为所有模型显示这三档推理选项,统一了各工具的推理选择器。
Jev Playground 上线,用户无需注册即可在线运行真实的 TypeSafe Jev 模型,输入状态和带类型的问题后,模型会返回有界决策及对应概率。该工具可用于检查条件、选择路径或按评分标准打分,页面提供可加载的示例,运行后还能编辑输入或切换其他示例继续实验。
微软发布决策专用模型 Microsoft-Decision-1,基于阿里开源模型 Qwen3.5-9B 进行后训练,专门用于快速判断选择题。该模型在推理速度和稳定性上远高于通用大模型,已在 Xbox 和 Copilot 等业务中投入使用,用于优化 AI 工作流效率。
Nathan Lambert 认为 AI 将在基础设施与工程能力上快速进步,未来几年模型会成为超人的分布式 GPU 工程师,但这不会让模型本质发生巨变,也不指向通用超级智能。他指出推理效率提升已带来 10-30% 成本下降,模型智能的有效成本未来几年或近指数级下降,预训练研究(架构与数据选择)有望在 2-3 年内自动化。
剑桥大学等机构的研究者称,OpenAI 发布的 Navier-Stokes 问题证明在自然语言版与 Lean 形式化版之间存在不一致,具体出现在 Lemma 8.6:自然语言版要求某值小于 m + 4,Lean 版则放宽为小于 m + 5。
研究者提出树突启发循环单元(DIRU),在每个循环单元内集成多个计算隔室,用可学习门控让各树突分支选择性地放大或衰减输入,并通过全局调制信号以乘性缩放调整神经元增益。该设计还引入残差循环连接以改善梯度传播,将循环单元变为具备自适应门控、上下文相关增益调制和分层特征处理的结构化非线性动力系统,目标是应对混沌系统中对初始条件敏感、长期预测不稳定的难题。
OpenAI 发布 Decisions API 公开测试版,端点为 POST /v1/decisions,可将文本和图像转为概率、选项或评分等类型化答案,官方称比 Responses API 快约 10 倍。
CNCF 沙箱项目 llm-d 发布 v0.7,将优化基线重命名并稳定化,迁移为 kustomize 优先的指南,扩展夜间 CI(OpenShift、GKE、CoreWeave),预测延迟调度转 GA,批处理网关进入实验阶段,并重写项目文档。
strands-labs 发布 strands-decider 决策模型,用指针头替换 LLM 的语言建模头,在选项间做选择、判断是与否或按量表打分,并给出置信度。