从零构建智能体评测排行榜:Wolfram Ravenwolf 的实战方法
Wolfram Ravenwolf 在实操工作坊中演示如何以 Terminal Bench 和 Harbor 为基础搭建智能体评测流程,组合隔离沙箱、智能体运行框架、固定版本基准、推理服务及资源限制。其 WolfBench 工具汇总重复运行结果,他认为重复运行的稳定性、完整配置、成本和执行轨迹比排行榜上的单一平均分更重要。
Wolfram Ravenwolf 在实操工作坊中演示如何以 Terminal Bench 和 Harbor 为基础搭建智能体评测流程,组合隔离沙箱、智能体运行框架、固定版本基准、推理服务及资源限制。其 WolfBench 工具汇总重复运行结果,他认为重复运行的稳定性、完整配置、成本和执行轨迹比排行榜上的单一平均分更重要。
Michael Forrester 与 Whitney Lee 用一个故意留有漏洞的平台聊天机器人,演示智能体权限、Kubernetes 管控、运行时防御以及输入输出防护在实时攻击下如何相互作用。
Annabell Schäfer 与 Lotte Verheyden 展示如何结合 Langfuse 追踪、定向线上评测与离线数据集,把支持智能体的用户抱怨转化为持续改进流程。工作坊以解决家人手机问题的 IT 支持智能体 Specs 为例,接入 Langfuse 后沿智能体观测、模型调用和工具调用查看请求,并强调追踪若缺失关键步骤,后续监控就无法进行。
Ankur Duggal 以一个表现失常的金融智能体为例,演示如何把追踪数据、针对性评测和编码智能体技能连成可验证的修复流程。他沿 supervisor、专业智能体、模型调用和工具调用逐层追踪故障,并借助 Arize CLI 与技能让编码智能体拉取 span 和评测结果,定位数字缺乏依据、虚构回答与重复等问题。
M-VAVE FM-1 是一款售价不到 70 美元的口袋合成器,内置六个正弦波算子、32 种算法、12 复音,支持 DX7 SysEx 音色库导入,并配备 USB-C MIDI、BLE MIDI 与 3.5mm MIDI IN。它基于 JieLi AC791N/WL82 SoC,已衍生出数十种开源固件替代方案,部分还带在线模拟器,被视为黑客的音乐平台。
作者分享了用终端工具 Termany 进行多 Agent 并行项目开发的工作流体验,核心特性包括无限层级文件树、支持多个 Agent 会话并行的多层级窗格结构、红绿灯标识辅助感知 Agent 运行状态,以及 Cmd+P 全局搜索快速定位并发送指令。
一位有约 12 年编程经验的工程师提出"肉代理(Meat Proxy)"概念,指在对话中只增加延迟、不提供任何价值的人,并称 AI 让这类无价值交流变得前所未有地容易。
面对今年 LLM 辅助漏洞报告激增,NixOS 展示了用 VEX(Vulnerability Exploitability eXchange)文档自动化漏洞分诊的思路。
JustLog3 Cloud 对其读取日志、任务和 GitHub 仓库的 AI 助手做了一轮真实模型红队测试,多数攻击失败,但发现链接携带密码、搜索结果诱导写入记忆、搜索查询外泄等几类问题。
一套基于 omarchy-apple-dev 的工具链让 Linux(Omarchy 4.0.4)无需 Mac 即可开发 iPhone 应用,提供一键构建安装、lldb 断点调试和约 0.7 秒热重载,手机通过 USB 连接。
GitHub 项目 nitinjain999/platform-skills 发布了一套面向平台、DevOps、SRE 和云工程师的生产级实战手册,覆盖 Kubernetes、Flux CD、Terraform、GitHub Actions、AWS、OPA/Rego、KEDA、Karpenter、供应链安全、Falco 与可观测性等主题。
GitHub 项目 linjiw/quant-learn 发布,是一个聚焦 AI 算力价值链四只股票(TSM、NVDA、AMD、GOOGL)的量化研究系统,首版定位为研究工具而非自动交易系统。系统基于 DuckDB 构建,涵盖日频价格、SEC 文件与 XBRL 数据、TSMC 月度营收、因子看板、事件研究与 PIT 三因子残差模型,并输出决策备忘录与立场审计报告。
Director-Driven Development 是一套与 AI 编码智能体协作的工作方式:人负责指挥,智能体负责构建,并由自动检查验证每个任务。
作者分享了通过 MLH 黑客松免费领取 Cursor Pro 的实操经验,指出激活需要等待邮件发送的优惠码,而非立即自动升级。
作者让 GPT-4 跳过 CAD/CAM 直接为 CNC 等离子切割机生成 G-Code,代码首次加载即通过,但因缺乏视觉能力导致形状出错、T 字高度控制失败。
一份面向 Voice AI 高级、Staff 与 Lead 岗位面试的学习手册发布,包含 168 道带参考答案的详细问题、45 道快速筛选题和 7 个实践练习,覆盖 12 个章节。内容涵盖 STT、TTS、实时语音智能体、Speech LLM、服务基础设施、数据准备、安全合规、调试排障、从零训练及领导力等主题,并按基础模型、生产栈、Lead 三类岗位给出章节侧重建议。
Kodia 是 Void 的一个分支,而 Void 是 Cursor 的开源替代品,支持在代码库上直接使用 AI 智能体、检查点可视化变更、本地托管任意模型,以及直接向提供商发送消息而不保留数据。Kodia 基于 VSCode 分支构建,新增 AI 驱动开发工作流相关功能,需 Node 24.18.0 环境,通过 Cmd+Shift+B 编译进入开发者模式。
开发者用 Copilot 在 10 分钟内搭建了一个跳转 MDN 随机页面的小工具:抓取 MDN 的 sitemap、解析 XML、随机取一个 URL 后以 302 重定向过去。代码基于 xml2js 解析,并用 Json2TS Raycast 扩展生成 TypeScript 接口。
作者 nialse 尝试让 AI 智能体直接在 LLVM IR 上重写 jq,为此先写了 POSIX 风格运行时 libmuffintop,产物名为 jeqy.ll。
imaginAI 是一款可在 Windows 10/11 上本地运行的 AI 应用,用户从 GitHub Releases 下载最新 Windows 版本后,在 .env.local 中填入自己的 Gemini API key,即可用 npm run dev 启动并在浏览器中使用 AI Studio 工作流。运行需至少 4 GB RAM 和有效 Gemini API key,无需编程基础。
lumina-share 是一款面向 Windows 的桌面应用,用于在本地运行 AI Studio 应用并共享屏幕,需 Windows 10 或 11、Node.js 和 Gemini API key。用户在 .env.local 中填入 GEMINI_API_KEY,依次执行 npm install 和 npm run dev,再在浏览器打开本地地址即可使用。
BrainBench 官方数据集实现提供了在 Windows 10/11 上本地下载、打开和使用该数据集的完整步骤,无需编程知识。运行需至少 8 GB 内存和 2 GB 可用磁盘空间,支持加载数据集、浏览记录、筛选条目以及导出或保存结果。
GitHub 项目 executive-ai-core 是一个小型 Python 应用,用于展示 AI 智能体内部如何运作,面向学生、教师和初级开发者。它用纯 Python 编写并附完整注释,演示智能体如何读取目标、制定计划、逐步执行、检查结果并决定下一步,部分版本需填入 Claude API key 才能运行。
veoscript-prompt-generator 是一个在 Windows 10/11 本地运行的 AI 视频提示词生成工具,可将简短想法扩展为完整提示词并集中管理、尝试不同风格。使用前需安装 Node.js 并配置 Gemini API key,通过 npm install 与 npm run dev 启动后在浏览器访问本地地址使用。
rustcoach 上线免费 Rust 测验,每道代码答案都由 rustc 实际编译运行并跑 clippy 检查。它基于 Claude 构建,会记录你此前答错的内容并在新课前重测,复习卡片按 1、3、7、14、30、60 天间隔回归,完整课程一次性收费 $49。
开发者 jefische 用 Claude 完成 capone-scraper 项目,从空目录到部署上线仅用 30 分钟,代码全部由 Claude 编写,作者只负责提示词。
GitHub 仓库 rmorison/engineering-standards 发布了一套轻量级软件开发工程标准,覆盖流程、代码质量与 AI 助手配置,并附带 Claude Code 集成。
孙学实操攻略发布,包含独立访谈研究、七天实践、可复制 Prompt 与工作模板。内容以实操为导向,提供可直接套用的提示词与工作模板。
Grok bot 支持把帖子链接发给它,或直接 @bot 提出需求,让它读完整个帖子后为你的工作和生活推荐可帮忙的点子。原帖称该帖内已有近千个点子,可作为需求来源。
quicktype 自 2017 年 7 月发布以来累计生成 100 亿行代码,且没有一行由 LLM 写出,发布一周年时已突破 10 亿行。它从 JSON 生成强类型模型与序列化代码,支持 TypeScript、Python、Go、Rust、Swift 等 30 多种语言,采用类型图与语言渲染器分离的架构,便于社区扩展语言。
GitHub 上的 AI-Red-Teaming-Guide 汇总了 AI 系统对抗测试与安全评估方法,覆盖 NIST AI RMF、OWASP GenAI 与 Agentic Top 10、MITRE ATLAS、CSA 等框架。
密歇根大学「Applied Agentic Software Engineering」课程将 Agent 软件工程拆解为五个核心技能流水线。其中 /peanuts 通过自底向上的 README 层级化解遗留代码幻觉,并设有人工评审,整体还包含严苛设计访谈、无上下文盲审、代码门禁防漂移与对抗性评审等环节。
作者用 OpenCode 在 Ubuntu VPS 上自托管 AI 智能体环境,模型经 OpenRouter 和 OpenAI 订阅接入,共享记忆通过 Dropbox 同步到 VPS,并用 Tailscale 实现私有访问。
作者用底层通信和显式轨迹控制 Unitree R1 EDU 的肘关节上下运动,并借此讲解配置空间、拓扑、微分几何、刚体运动、PD 控制与 DDS 通信。文中指出单个无约束转动关节的配置空间是 S1,加上关节限位后可达集收缩为一段弧,拓扑随之改变;两个无约束转动关节的配置空间则是环面 T2。
开发者获取免费大语言模型资源主要有三种运营机制:基于任务奖励与签到的积分制、适合批处理与夜间离线作业的限时免费窗口,以及根据社区活跃与贡献度浮动的动态配额系统。文章对比了三种方案在资源稳定性、灵活性和门槛上的差异,并给出异步调用、定时调度与成本管理的实操建议。
作者用一段提示词配合团队定制的品牌 PPT Skill 与动效 Skill,在 20 分钟内生成出几十页演讲 PPT,结果精准且无需修改。作者由此感叹 AI 生成能力对过去十年传统设计经验的颠覆。
UESTC AI 社在 GitHub 发布 AI 科研入门指南 Takamatsu-Hikaru/AI-Research-Guide,面向刚进入大学、想了解 AI 和科研的同学。
作者用基于 CPU 的几何探针与墨水扩散模拟器,评估 AI 图像生成器输出纹身的物理可行性,发现物理打印约束与人类通用审美偏好之间存在明显错位。
一位用户为 HP Color LaserJet M553(FutureSmart 3,固件 2309118_002275)部署了 Let's Encrypt 证书,使其管理页面和 IPPS/AirPrint 均使用受信任证书,并由 Proxmox 上的 Alpine LXC 容器每两个月自动续期。
开源项目 dbirks/robot 为 Reachy Mini 打造完全本地运行的语音智能体,不调用任何云端 API,链路为 faster-whisper small.en 做 STT、llama.cpp 跑 Qwen 3.5 4B Q4_K_M、Piper 做 TTS,目标硬件为老款 i7 加 GTX 1070(8 GB VRAM),整体显存占用约 4.5 GB。