Tessl 伦敦 Meetup：真实世界中的 AI 评估与优化

加入伦敦的 AI Native Dev 社区，共度一晚，深入了解现代 AI 系统在真实世界中的实际表现。从 NVIDIA 在扩展长上下文 LLM 推理方面的工作，到 Hugging Face 对 Skills 和 MCP 的看法，再到 Tessl 在 AI 编码代理上运行大规模评估的经验教训，本次聚会聚焦于哪些地方会出问题、哪些方法有效，以及开发者需要了解的内容。来听演讲，留下来交流，结识其他正在构建下一代 AI 原生软件的人。

​议程

• ​下午 6 点： 开门
• ​Talks kick off
  • ​6:30： 演讲 1：在真实环境中评估 AI 技能：我们在大规模运行评估中学到了什么，主讲人 Rob Willoughby
  • ​晚上 7 点： 演讲 2：使用 Skip Softmax Attention 加速长上下文推理，主讲人 Dom Brown
  • ​7:30： 演讲 3：使用 Skills 和 MCP 进行开源机器学习，主讲人 Shaun Smith
• ​晚上 8 点： 交流
• ​晚上 9 点： 结束

​在真实环境中评估 AI 技能：我们在大规模运行评估中学到了什么

你如何知道一个 AI 编码代理是否真的在遵循你的指令？或者你写的那个技能是否产生了影响？与在项目中针对你的代码运行评估相比，你能从合成评估用例中学到什么？我们将分享构建和运行大规模编码代理评估的实践经验，涵盖评估设计、大规模运行时会出问题的地方，以及结果揭示了当今模型真正在哪些方面存在困难。

​Rob Willoughby，Tessl AI 研究技术团队成员

​Rob 在 Tessl 从事评估研究，设计并运行大规模评估，以了解编码代理在真实代码库中的行为。他的工作重点是在 AI 代理与你的代码协作时，弄清楚什么才算“好”——从评估设计和评分标准系统，到了解模型（和基础设施）在大规模下会在哪里崩溃。

​使用 Skip Softmax Attention 加速长上下文推理

​大型语言模型（LLM）对长上下文推理能力日益增长的需求，加剧了标准注意力机制固有的计算和内存瓶颈。为应对这一挑战，我们引入了 Skip Softmax Attention，这是一种即插即用的稀疏注意力方法，无需任何预计算或代理分数即可动态修剪注意力矩阵。我们的方法使用固定阈值和在线 softmax 的现有信息来识别可忽略的注意力分数，跳过 softmax 计算、值块加载以及随后的矩阵乘法。这可以无缝融入现有的 FlashAttention 内核设计，延迟开销可忽略不计。

​Dominic Brown，NVIDIA 高级 AI DevTech 工程师

​Dom Brown 是 NVIDIA 的高级 AI 开发者技术工程师。他的工作重点是优化大型语言模型推理。Dom 在英国华威大学学习计算机科学。在他的博士论文中，他研究了在 CPU 和 GPU 系统上加速粒子模拟（particle-in-cell）算法。

​提升模型、代理和 ML 流水线的技能。

语言模型和编码代理的最新进展已经影响了 ML 技术栈本身，为自动化和训练开辟了新的机会。

在Hugging Face，我们已在多个领域整合了Skills和MCP——从自动化模型训练，到让大型模型在某些任务上辅导小型模型。我们将分享MCP用于模型间通信的示例、提升智能体技能和改进ML流水线的实用工具，并分享我们在此过程中学到的一些工具经验。

Shaun Smith，HF开源MCP负责人

Shaun Smith领导Hugging Face的开源MCP工作，并且是MCP指导委员会成员，担任社区版主，并在传输工作组中任职。

本次活动由AI Native Dev Community为您呈现。欢迎订阅邮件列表、播客，并加入我们的Discord社区