从零构建智能体评测排行榜:Wolfram Ravenwolf 的实战方法
Wolfram Ravenwolf 在实操工作坊中演示如何以 Terminal Bench 和 Harbor 为基础搭建智能体评测流程,组合隔离沙箱、智能体运行框架、固定版本基准、推理服务及资源限制。其 WolfBench 工具汇总重复运行结果,他认为重复运行的稳定性、完整配置、成本和执行轨迹比排行榜上的单一平均分更重要。
Wolfram Ravenwolf 在实操工作坊中演示如何以 Terminal Bench 和 Harbor 为基础搭建智能体评测流程,组合隔离沙箱、智能体运行框架、固定版本基准、推理服务及资源限制。其 WolfBench 工具汇总重复运行结果,他认为重复运行的稳定性、完整配置、成本和执行轨迹比排行榜上的单一平均分更重要。
Michael Forrester 与 Whitney Lee 用一个故意留有漏洞的平台聊天机器人,演示智能体权限、Kubernetes 管控、运行时防御以及输入输出防护在实时攻击下如何相互作用。
完整版 GLM 5.3 在 EXL3 量化下借助 TensorFold,于本地多 GPU 工作站硬件上实现约 95 tok/s 的解码吞吐量。Ash Hart 指出,这是一项解码性能里程碑。
Annabell Schäfer 与 Lotte Verheyden 展示如何结合 Langfuse 追踪、定向线上评测与离线数据集,把支持智能体的用户抱怨转化为持续改进流程。工作坊以解决家人手机问题的 IT 支持智能体 Specs 为例,接入 Langfuse 后沿智能体观测、模型调用和工具调用查看请求,并强调追踪若缺失关键步骤,后续监控就无法进行。
Runpod 工程师 Dean Quiñanola 演示 Flash 如何用接近本地的 Python 开发体验缩短云端 GPU 应用的构建、推送与运行循环。他指出,AI 应用每次修改后重新构建 Docker 镜像、推送仓库再运行,按他的经验可能耗费约 15 分钟,而 Flash 通过 Python 直接暴露 GPU 支持。
OpenClaw 发布 v2026.10.1 版本,新增已安装技能发现、聊天旁置 MCP Apps、Cloudflare R2 全量备份以及更简化的 Mac 配置流程。
INVAR 是一款连接 PostHog、Stripe、HubSpot 和 Slack 的分析工具,用于把激活率下滑等指标变化与具体原因关联起来。
page2ai-mcp 是一个一键将网页转为 Markdown 的 MCP 服务器,支持 ChatGPT、Claude 和 Gemini,保留代码块语言标注、表格与阅读结构,通过 npx -y page2ai-mcp 即可本地运行,无需 API key、账号或遥测,仅访问用户传入的 URL。
Velox 是面向 AI 产品的开源计费引擎,支持按模型 × token_type 矩阵定价进行 token 计量,并提供预付费承诺与扣减、按客户维度的毛利与 COGS 核算,可自托管在自有 VPC 中。
mozilla-ai 推出 any-llm,让开发者通过单一接口与不同 LLM 提供商通信。该项目由 Mozilla AI 团队开源在 GitHub,目标是统一多家模型的调用方式,省去为每个提供商分别对接的麻烦。
GitHub 项目 graybyrd13/not-slop 提出一套让 AI 搭建的网站显得专业制作的流程:冻结需求简报、方向竞赛、隔离构建、渲染批评、有序迭代、人工裁决。项目还提供按证据分级的两类语料库,一类是需禁止的 AI 痕迹,一类是可学习的范例网站。
Apsion 推出 log-essence,一款面向 LLM 的智能日志分析工具,可提取日志模式、脱敏密钥并压缩日志内容。该工具提供 CLI、Web UI 和 MCP server 三种使用方式。
rim-19/job_search 是一个自动求职智能体,从招聘 API、RSS 源和约 80 个创业公司招聘板收集远程开发岗位,用 Gemini 按 1-10 分对照简历打分并生成摘要,去重后存入 SQLite,再通过 GitHub Actions 定时发布 GitHub Pages 仪表盘。
AI Test Architect Pro 是一个把 Claude Code 变成自主测试工程智能体的框架,可自动解析代码库与 API 规范、生成覆盖 REST、GraphQL、Web/移动与微服务的测试策略。
cfdude/mcp-perplexity-pro 发布 2.0.0,用 Python(FastMCP、SQLAlchemy、SQLite)重写并替换 TypeScript 1.x 服务器,因为 Perplexity 已下线 Sonar 端点,1.x 无法再响应任何查询。
电气工程师 Awais Asghar 上线个人作品集网站 awais-asghar.vercel.app,汇集 41 个项目、8 个学科方向,涵盖 FPGA 加速器、计算机视觉、LLM 应用与嵌入式系统,支持按学科筛选和按工具标签搜索。
Avaropoint 发布 Weblisk 框架的服务端参考架构与蓝图仓库 weblisk-blueprints,定义 orchestrator、domain 与 agent 的协议规范、架构和领域知识。
Vibe Coding Tracker 是一款用 Rust 编写的轻量 CLI 工具,可实时追踪 Claude Code、Codex、Copilot、Gemini、Cursor、Grok、DeepSeek Harness 等 AI 编程会话的成本与 token 用量。
llmbrake 是一个零运行时依赖的 TypeScript 库,包裹 OpenAI 兼容的 chat.completions.create 调用,按 token 用量以美元计价并为每个客户累计月度支出。
作者分享了用终端工具 Termany 进行多 Agent 并行项目开发的工作流体验,核心特性包括无限层级文件树、支持多个 Agent 会话并行的多层级窗格结构、红绿灯标识辅助感知 Agent 运行状态,以及 Cmd+P 全局搜索快速定位并发送指令。
DeadBolt 发布 v1.0.3,为软件智能体的工具调用提供本地执行闸门,把闸门放在执行动作的代码处,由策略与操作员控制决定该动作是否运行。
Webmastery Site Toolkit for MCP 是一款 WordPress 插件,通过官方 MCP Adapter 为 AI 智能体注册 70+ 权限感知能力,覆盖 16 个领域,支持 Claude、ChatGPT、GitHub Copilot 和 Gemini 等 MCP 客户端。
Anuma 推出 TypeScript SDK @anuma/sdk,用于构建 AI 应用,支持流式对话补全、工具调用与自动执行、长期记忆及端到端加密。SDK 通过单一集成统一接入多家 LLM 提供商,并提供 React、React Native/Expo 和 API 客户端入口,还包含扩展思考、Whisper 语音转录、PDF 与图像 OCR 等能力。
LlamaStash 发布,定位为零开销、终端原生的本地 LLM 管理器,一个 Rust 二进制同时充当 TUI、CLI、守护进程和 OpenAI 兼容代理,默认后端为 llama.cpp。
Enterprise Clinical Copilot(ECC)是一个全栈 AI 应用,用于帮助医护人员在患者出院时评估非计划再入院风险,目前部署在 GCP 上。
git-to-feed 是一个基于 Clean Architecture 的 Go 微服务,监听 GitHub 仓库 Webhook(Pull Request 与 Release),用 Google Gemini AI 结合 Few-Shot 示例生成内容,再经 Discord Bot 人工审批后发布到 LinkedIn。
SwiftData-SkillKit 发布,为 SwiftData 提供 AI 驱动的模型迁移与查询编排能力,支持自然语言生成 #Predicate 查询、版本迁移回滚与 iCloud 三方合并冲突解决。
面对今年 LLM 辅助漏洞报告激增,NixOS 展示了用 VEX(Vulnerability Exploitability eXchange)文档自动化漏洞分诊的思路。
Tracon 是一个面向并行 Claude Code 子智能体的只读监控工具,提供终端界面和浏览器视图,可同时展示每个智能体的状态、是否卡在权限提示、是否偏离任务简报,以及两个智能体同时编辑同一文件的冲突。
OpenTask 是一款自托管、AI 驱动的任务与习惯管理器,以单个 Docker 容器加 SQLite 运行,数据存于服务器上的一个文件,支持 Web(PWA)、iPhone、Apple Watch 和 Mac 客户端。
Intra 是 Falcons_CDGi_Hackathon 项目,定位为全球首个自主运行时韧性平台。它持续拦截上游 API 流量以建立经验性行为契约,并通过静态映射 AST 影响范围到具体源代码行,动态生成向后兼容的 TypeScript 适配器,由确定性 Golden Replay 验证。
GitHub 项目 CodeServant/mdbook-tranai 是一个 mdBook 预处理器,借助 Gemini 实现书籍自动翻译,曾用于把 Rust 官方书籍译成波兰语。
googleMe 是一个把开发者作品集重构为 Google 搜索体验的全栈项目,每个页面都是带粘性搜索栏、标签导航、知识面板、语音搜索、Google Lens 弹窗和 AI 聊天助手的搜索结果页(SERP)。
开源工具 VibeSync 发布,可在 macOS 与 Windows 之间同步 Claude Code、VS Code Copilot Chat、Codex、OpenCode、Copilot CLI 和 Zed 的会话、计划、记忆、自定义智能体、技能与设置。
MikroTik MCP 为 AI 助手与 MikroTik RouterOS 设备之间提供桥接,让 AI 通过自然语言请求执行管理 VLAN、配置防火墙规则、处理 DNS 设置等命令。
MadQ/RoslynMcp 是一个 Model Context Protocol 服务器,为 AI 编码智能体提供 Roslyn 编译器语义,包括类型解析、跨文件引用、语义重命名和诊断,共 45 个 MCP 工具(43 个公开加 2 个仅调试用)。
alix 是一款纯文本间隔重复学习工具,能把用户自带的文章、论文或代码库生成卡组,并通过 AI 出题考试检验是否真正掌握,只有通过考试才标记为已理解。复习完全离线运行,AI 功能(生成卡组、卡片导师、考试)通过调用 Claude Code、Gemini、Codex 或 Copilot 等模型 CLI 实现,后端仅有只读工具且不存储 API key。
开源项目 ai-news-digest 聚合 Anthropic、OpenAI、Google 与 GitHub 过去三个月的官方产品更新,涵盖新闻、changelog 与 release notes 三类来源。
rockywuest/pidog-embodiment 项目让 AI 拥有物理身体,支持德语、法语、英语本地理解(Ollama 或零 LLM 关键词模式)并执行动作。
ArtCode 是一款本地优先的 AI 安全作战台,面向 Windows 平台的渗透测试、红蓝对抗与白盒审计场景。该产品为闭源商业发行版,仅发布文档与安装包,源码暂不公开,采用机器码激活:基础功能免激活可用,内置技能资产加密下发,须激活后解锁。