追踪一个 Token 在 MoE 推理中穿越 TP/CP/SP/EP/DP/PP 的路径
一篇技术解析追踪单个 prompt token 在 32 张 H100 上 MoE 模型 prefill 过程中穿越 DP、CP、SP、TP、EP、PP 六种并行方式的完整路径。
一篇技术解析追踪单个 prompt token 在 32 张 H100 上 MoE 模型 prefill 过程中穿越 DP、CP、SP、TP、EP、PP 六种并行方式的完整路径。
一位开发者回顾五年来在亲 AI 与反 AI 之间的摇摆,认为 GitHub Copilot 带来的低延迟体验像老虎机,让人启动更多低价值项目却完成更少。他今年初的自我实验显示重度使用 AI 后产出更多但对自己交付的东西感到矛盾,随后受 "I'm done coding with AI" 视频影响停用 AI 三周,重新体会手写代码的摩擦感与满足感。
作者用 Jon Harman 于 2005 年开发的 DStretch 插件处理了来自大都会、大英博物馆、克利夫兰艺术博物馆、柏林国家博物馆和 Wikimedia Commons 的约 4600 张照片、2400 件文物,该插件基于 1970 年代卫星成像的 decorrelation stretch 技术。
开发者 Trilldog13 在 GitHub 发布了一套可复用的 AI 招聘提示词框架,覆盖从需求沟通到录用决策的五个阶段,可直接粘贴进 Gemini "Gems" 或创建 GPT 使用。
Hardy Chen 向刚接触 Claude Code 的新手推荐了一份保姆级教程,称其讲解详细,涵盖从安装到基本使用的每个步骤。教程通过外部链接提供完整操作指导。
Claude Code 的动态工作流功能强大但会消耗大量 token,官方建议从范围明确的任务起步,再逐步提升任务复杂度。用户可通过 `/claude-api managed-agents-onboard bug-hunter` 上手,或查看模板。
AI Tidepool 是面向 AI LiveStream Series 的持久化知识归档库,将每场直播的幻灯片、代码示例、问答摘要和演讲者笔记按时间、主题与关联关系整理成可检索的知识图谱。仓库分为 /archive/、/evergreen/、/curation/、/templates/ 四个板块,支持多语言社区贡献与语义搜索,并设有从直播到常青内容的四阶段转化流程。
TinyFish 将其 web-native 模型的训练、评估与生产部署统一到 Databricks 上,用 AI Runtime 跑 GPU 后训练、MLflow 做评估、Model Serving 做线上服务。
宝玉建议在 Claude 网站用 Design 迭代满意后导出 HTML 到本地,再用 Claude Code 把该 HTML 当本地网页继续更新,从而减少对 Design 站点的 Token 消耗。
HumanLayer 的 Dex Horthy 认为,无需严格流程即可一次性完成的任务比例正在上升,但对齐、grilling 和规划工作流仍然重要,用重型规划做小任务会明显变慢。
SMU 计算机系 Michael Hahsler 的强化学习课程 CS 5/7329 公开了讲义、Python 代码示例与作业,内容对应 Sutton 与 Barto《Reinforcement Learning: An Introduction》第二版及深度强化学习综述。
社区项目 lifeup-custom-frontend 给出在《人升》(LifeUp)App 之外搭建第三方界面的实现方案,数据与规则仍跑在手机端人升里,网页只做展示与转发。方案要求人升 v1.106.0+ 与云人升 3.0.0+,通过局域网默认端口 13276 的 HTTP 服务接入,可做自定义看板、AI 助手和群机器人,并支持官方 MCP。文档可整段交给本地 AI 工具,无需自己写代码。
Postman 的 Agent Mode 基于 Amazon Bedrock 运行,为 4000 万开发者提供跨 API 测试、文档、发现与实现的 AI 原生工作方式。
一次实验中,作者向 Claude Opus 5.5 描述 15 个不同动画场景,模型自动生成 Python 代码在本地渲染出 15 支 10 秒动画短片,涵盖画面、动画、音乐和音效。该实验主要用于测试模型在视觉-语言理解和代码翻译方面的能力。
Ai2 AI Infrastructure 团队将基于优先级的 GPU 调度器替换为包含 GPU 时间预算、分层公平分享分配和时间切片合约的系统,管理数千张 NVIDIA H100、B200 和 B300,服务约 150 名内部研究员。此前需求超出容量 2-3 倍,出现 GPU "占坑"、优先级通胀等问题,新系统把 GPU 时间分配从逐案运营任务转为透明的行政预算流程。
Eval engineering 是构建生产级评估系统、规模化治理 AI 行为的学科,把评估从部署前的一次性检查变成持续运行的基础设施。它要求对 100% 流量做领域特定评估,而非只抽样 10%,输出未通过评估就不上线。文章以 Air Canada 聊天机器人误答 bereavement 票价、被判赔 $812 为例,说明企业缺的不是政策而是让 AI 真正执行政策的系统。
文章指出,人类听者往往在说话者讲完前就形成判断,而大语言模型同样会过早「承诺」结论——它把收到的第一条消息当作完整规格,若首条是背景或否定表述,模型就会围绕它作答。作者借用代码开发中的 red/green 测试提出「承诺门」:在提出修复方案前,先用一个可运行且失败的测试具体复现问题,以此约束模型的过早承诺。
Cockroach Labs 把编码智能体流水线设计成教学医院 MOLT Sinai,用角色分工、计划评审和强制交接来保证代码质量。五个月里该流水线在镜像仓库合并了 1238 个 PR、落地超过一百万行代码,消耗约 13.5 万美元 Claude token,平均每个 issue 约 84 美元。
作者用 Grok Bot 在约 15 分钟内搭建了一个 Notion 自媒体监控看板,可实时追踪用户增长、阅读量、评论数和收入。相比手动收集数据,这一自动化方式提升了数据可视化效率,并为分析提供实时更新的基础数据视图。
Baseten 工程博客解析如何实现高质量 NVFP4 4-bit 量化,介绍了启发式规则、孤立层敏感度评分和 SaturationQuant 三种方案。NVFP4 每 16 个值共享一个 block scale,权重可直接计算 scale,激活值则需通过校准数据集统计分布。
Unsloth 发布免费 notebook,教用户把 Qwen3.5-4B 训练成生成决策而非文本的决策模型,本地仅需 8GB VRAM,内容涵盖数据准备(state、questions、gold answers)、训练与服务,配套指南见 unsloth.ai/docs。
软件工程师大部分时间在读代码改动(diff)而非全新程序,但代码的执行顺序由计算机决定、结构复杂度远超英文文本,因此像读书一样顺序阅读往往失效。作者主张采用源自数学论文阅读的"dyadic scanning":先多轮跳跃式追踪调用链把握整体结构,最后才逐行通读以捕捉遗漏的异常细节。
Strands Agents 推出官方示例仓库 samples,提供 Python 和 TypeScript 两套入门教程与可运行代码。
一份生成宋代江南小巷 10 秒视频的详细 Prompt 被展示,包含电影级工程化细节。Prompt 覆盖服装设计(月白色交领窄袖短衫、淡藕粉色褙子、浅青色长裙)、一镜到底稳定器跟拍、白灰墙灰黑瓦与梨花树场景,以及鸟鸣、流水、宋式箫声的音频设计。
ZELF 推出基于 FLUX.2 [pro] 的 Image Restore 工具,可修复老照片的划痕、折痕、污渍和褪色,锐化人脸并为黑白照片上色。用户上传最高 10 MB 的 JPG 或 PNG 扫描件,按张以 credits 付费,处理通常 30 秒内完成,失败则退还 credits;如需打印大尺寸可再用 Upscale 放大。
设计工程师仍需掌握函数、状态和异步等编程基本功,才能在 AI 大量生成代码的今天判断其决策是否合理。作者以搜索框为例:旧请求晚于新请求返回会覆盖新结果,只有追踪代码中的请求触发、结果存储与展示逻辑,才能定位并判断修复方案是否真正有效。Sean Goedecke 也指出,AI 能写出可用代码,却可能引入你本不会做的复杂度和多余解法。
LocalCloud MCP 让编码智能体在本地运行时构建、测试和调试 Google Cloud 应用,需安装 LocalCloud CLI 0.1.9 及以上并运行 Docker,运行时 0.1.5 及以上支持严格客户端工具 schema。
一份面向国内自媒体账号的九宫格自拍写真提示词,用于生成 9 张风格一致的女性肖像。提示词指定模特为 25 岁左右亚洲女性,保持脸部特征与身材比例一致,身穿轻熟休闲服装,场景涵盖卧室、地铁、电梯和室内摄影角,整体风格自然干净,带 iPhone 拍摄感,避免过度美化或性感姿势。
一份 Claude Motion 与 Dashboards 上手提纲列出 Dashboards 实战避坑、Motion 工作流、从一句话需求写视频提示词、官方单车案例(约 81 秒演示)及新手交付前检查清单,正文主要为目录外链。
Wes Bos 用编码智能体 root 了妹妹那台因 Wi-Fi 损坏将被丢弃的 500 美元 Skylight 日历,找到隐藏调试模式,并用 11 美元 USB Wi-Fi 网卡让它重新联网,随后又用亚马逊上一台 50 美元的相框从零复现了整套流程。
作者将 Grok Bot 当作实习生,组建了一个由其构成的 AI 部门,要求成员在执行任务前先进行内部讨论。为弥补创作能力不足,作者让该 Bot 自行安装 Pi Agent,并借助 Claude Ops5.5 提升创作质量。
Simon Willison 用 ChatGPT 桌面版 Codex 标签页的语音对话模式,在做饭的半小时里几乎全程靠说话为博客建好了 Newsletters 页面,底层模型是 GPT-6 Astra High。
作者在使用 Grok bot 时将其视为实习生,要求其在工作前先进行讨论,并让它安装 Pi Agent 并接入 Claude Ops5.5 以提升创作效果。该分享还提到使用中转站服务来优化输出质量。
Simon Willison 用 ChatGPT 桌面应用 Codex 标签页的语音对话模式(模型为 GPT-6 Astra High),在做饭的约半小时内以纯语音为博客构建了 Newsletters 索引页。
开发者开源了 Voxlocal,一个用 Rust 编写、完全本地运行的低延迟语音智能体 CLI 工具,面向 macOS,仅聚焦英语汽车维修场景。它串联 Whisper 语音识别、嵌入向量检索、LLM 决策与 Piper 语音合成,并刻意避开复杂异步流式与 VAD 以保持流程可检查,作者明确提醒不要用于生产环境。
Code Quest Academy 把编程学习做成游戏,玩家通过 6 步任务循环(Intro → Concept → Practice → Code → Boss → Mastery)闯关,浏览器内用 Pyodide + Monaco 运行真实 Python 并自动判题。
GitHub 仓库 Paul-B98/lecture-ai-advanced 发布人工智能 II 选修课内容,涵盖 PyTorch 深度学习基础、正则化、超参数调优、集成学习,以及计算机视觉与 NLP 拓展章节,NLP 部分涉及 GPT2 Transformer、情感分析和命名实体识别。
GitHub 项目 Paul-B98/lecture-ai-basics 公开了选修课“人工智能 I”的课程内容,涵盖 AI 基础概念与应用练习。
原串(ycbbq.cn)在GitHub开源餐饮数字化蓝图仓库,记录其用1个人加AI搭建的覆盖订货、库存、生产、财务、门店运营与拓店招商的全链路系统方案。仓库不放源码,而是26个业务模块的流程、领域模型与口径红线、踩坑实录,以及19条可按序喂给AI编程助手的施工指令,技术栈默认Django + MySQL + Redis + Celery。
weisser-dev/agentic-ai-workshop 是一个关于 AI Agents、LLM 和 AI 辅助编程的交互式 Web 演示与自学工作坊,可直接在浏览器中启动。