用“第二使用者测试”检验学生项目：生成式 AI 时代如何证明理解

O'Reilly Radar· Kaiyao Duan·2026-10-20 18:54· 2 小时前AI 评分48

第二使用者测试

AI 导读

重庆 Force Academy 在 G7–G12 学生中推行"第二使用者测试"，把看似完成的项目交给另一名学生独立使用、核查或修改，以检验原作者之外的人能否看懂。

正文 · 原文

在重庆一家研究机构 Force Academy，我与 G7–G12 学生共事时，有时会拿一个看似已完成的项目，交给另一名学生负责使用、核查或修改。这次交接是对理解程度的检验：当创作者不再在场为其翻译时，这项工作还能否说得通？原作者知道每个变量意味着什么、为何做出某个决定、用了哪个工具、哪些部分可以安全改动。而第二名学生只有项目所呈现出来的东西。

生成式 AI 让这种交接更具揭示性，因为它降低了产出一个令人信服的首版成果的成本。学生如今生成代码、分析、文字、可视化和原型的速度，远非几年前可比。然而在课堂上，一个项目只有能体现学生理解了什么、并能为之辩护时才有价值。AI 可以补上缺失的代码、抹平不完整的推理，或把粗糙的想法变成流畅的文字，因此光鲜本身已不再是理解力的有力证据。

一个具体例子来自一篇关于 AI 与劳动经济学的学生论文《AI 可适用职业中的验证责任》。该论文追问：当 AI 让候选产出变得廉价，但仍需有人核查这些产出、判断它们是否可安全使用、并为接受它们承担责任时，什么在经济上仍然重要？

主导学生构建了概念模型和大部分分析流程。第二名学生被分配了一项更窄的任务：独立重跑主要分析，记录源数据的版本，记录一个数据集中的职业如何与另一个数据集中的职业关联，并将报告中的表格和图表与底层输出进行比对。看似程序性的验证很快变成了对这项研究的实质性审查。

第一个问题是可复现性。分析在原机器上运行，但太多流程依赖于只存在于一名学生记忆中的选择。要在别处复现，团队必须记录数据转换、写下关联职业数据集的规则，并保留中间结果，以便他人能看到最终数字是如何产生的，而不是简单地重跑脚本并信任输出。

更具后果的问题出在测量设计上。该研究的早期版本在两个不同的测量指标——验证责任和适应能力——中使用了部分相同的自主性和领导力调查题项。软件正确计算了这些指标之间的关系，但表面关系的一部分可能源于两个指标共享了部分相同输入。换言之，代码做了它被要求做的事；问题在于被比较的量是否定义得足够清晰。

团队重建了各项测量指标，使其不再共用调查题项，删除了含义模糊的题项，并修订了工作流程，使源版本、跨数据集链接、排除项、中间文件和报告结果都可追溯。后续版本又加入了替代性设定和稳健性检验。最初只是“请重新运行一下”，最终却迫使整个研究重新设计。

这次交接改变了我看待学生作品的方式。第二位使用者不只是检验文件是否打包得整齐；他们会提出创作者可能已经不再注意的尴尬问题。为什么这里会有这个变量？哪个结论依赖于一个从未被明确说明的假设？在这个项目中，这些问题一直追溯到测量设计层面。

交接的教育价值来自这样一个事实：学校作业和生产级软件有着不同的目的。专业开发者在软件离开自己手中之后会学到很多，因为他们必须交付它、解释它、支持它、维护它，并在有人以意想不到的方式使用它时作出回应。学生项目通常在课程结束时消失，这没问题；作品本身不是目标。重要的是引入一部分来自交付和维护的学习：解释决策、支持他人的使用，并在私人上下文不再可用时修订作品。

在 Force Academy，具体任务取决于项目。对于一个计算模型，另一名学生可能会更改一个参数或替换一条规则，然后问哪些部分应保持不变。对于一个由 AI 支持的工作流程，任务可能是将其迁移到不同的模型或环境。对于一项数据分析，第二名学生可能会尝试根据记录的源文件和变换过程重建某一结果。当这种迁移失败时，我希望原学生来决定另一个人实际需要知道什么，以及项目中应修改什么，而不是仅仅站在旁边解释。

我用“把手”一词来指代使这一切成为可能的可见入口点。把手给另一个人提供了具体可检查或可更改的东西，而无需先获得私人简报。它可能是一个命名清晰的参数、一个明确的假设、一个记录先前失败的测试、一个可替换的组件、一个保留的中间数据集，或者一个提示词——其重要上下文被写下来，而不是埋在私人聊天记录里。

把手也让分歧更有成效。一个暴露出来的假设可以被质疑；一个有清晰边界的组件可以被修改或替换，而无需重建整个项目；一个与其源数据和变换过程相关联的数值结果可以被核查，而不是凭权威接受。

在学校之外，AI 系统也暴露出同样的弱点。一个提示词、工作流程、技能或智能体配置可能看起来可移植，因为它可以被复制，而使其工作的条件却留在别处：工具访问权限、文件结构、模型行为、私人记忆、命名约定，或创作者从未需要记录的小决策。迁移作品往往揭示出，工作系统中有多少部分从一开始就从未包含在作品之内。

因此，一次成功的首次运行只是弱证据。它告诉我，某个人、模型、工具、数据和上下文的特定组合曾经产出过一次结果。更强的检验是：另一个人能否重建其中真正重要的部分，区分假设与实现细节，并在不破坏工作逻辑的前提下做出修改。

Tim O’Reilly 的“参与式架构”理念给了我更宏观的框架。当其他人无需与创建者私下协商就能进入一个技术产物时，它就会变得更有用。在软件中，这通常意味着接口、约定、文档、模块化和可替换组件。在数据分析中，同样的原则体现为记录来源版本、可见的转换过程、保留中间结果、明确的假设，以及足够的分析逻辑，让其他人能够重新运行或质疑这项工作。

对于教育而言，我所关心的里程碑是：学生是否足够理解这项工作，从而能将其中一部分理解提供给他人。第二个能够使用、质疑并扩展该项目的学生，所提供的证据是完美的首次运行无法给出的。

AI 扩展了一个人能够构建的东西，包括一个青少年在没有大型技术团队的情况下所能尝试的东西。扩展的范围是真正的收获，但它也让人更容易将成功生成与理解混为一谈。当我想知道一个学生真正理解了什么时，我现在从第一次严肃的交接中学到的，比从第一次成功运行中学到的更多。

来源：O'Reilly Radar · oreilly.com