跳到正文
The Decoder· Jonathan Kemper·· 4 小时前AI 评分71

Google 资助研究:AI 让初级专利律师起草更快,但独立判断力提升有限

AI makes junior patent attorneys instantly better but may quietly stunt their professional growth

AI 导读

一项由 Google 资助的研究让专利律师分别在有 AI 辅助和无 AI 的情况下起草专利权利要求,再用无 AI 的 redlining 任务检验其内化判断力。

正文 · AI 翻译

该研究将两件事分开:先让律师在 AI 辅助下工作,然后在没有 AI 的情况下评估结果。这种设计让研究人员既能衡量 AI 辅助工作的质量,也能衡量律师自身判断力在事后的保持情况。一家独立律所的盲审专利律师对所有结果按五个类别打分:可执行性、技术准确性、策略模糊性、完整性和清晰度。

在这项由 Google 资助的研究中,三分之二的参与者获得了 Google Labs 尚未发布的 AI 助手“InFlow”的使用权限,其余三分之一则在没有任何 AI 的情况下工作。在两项链权利要求起草任务中,只有实验组可以使用 InFlow,对照组则在无辅助的情况下完成相同任务。

在第三项名为“红线批注”的任务中,所有参与者都必须在没有 AI 的情况下批判性地审查一份现有的专利草稿。正如作者所解释的,起草衡量的是即时的 AI 辅助表现,而红线批注衡量的是内化的判断力,这是专利律师经常在没有任何工具的情况下执行的任务。

AI 主要改善初级律师的草稿

在起草任务中,实验组在第 10 天和第 90 天两个时间点都明显优于对照组,且效果体现在全部五个评分维度上。更高的分数主要来自差评减少和中等评分增多,而最高分几乎没有变化。

Six histograms comparing score distributions between control and treatment groups in drafting tasks after 10 and 90 days, broken down by all attorneys, juniors, and seniors.
在获得 AI 使用权后,初级律师的专利草稿获得的低分大幅减少。| 图片:NBER

对于经验少于七年的初级律师,收益远大于资深律师。研究人员表示,这与越来越多表明 AI 能缩小经验较少与经验较多工作者之间表现差距的研究一致,这种效应已在写作、客户服务和软件开发中观察到。

只有资深律师保留了 AI 优势

红线批注产生了相反的结果。实验组总体得分更高,但这一优势完全来自资深律师,初级律师则毫无获益,尽管他们在 AI 辅助起草期间取得了最大的进步。

Three dot plots showing AI access effects in standard deviations for the overall score and five rating dimensions, broken down by all attorneys, juniors, and seniors across drafting at 10 and 90 days and redlining at 90 days.
在 AI 辅助起草期间,初级律师获益最多。在没有 AI 的红线批注中,只有资深律师保留了优势。| 图片:NBER

相反,初级律师的结果出现了分化,中等评分大幅减少,被更多差评和更多好评取代,而顶尖分数没有增长。作者将此解读为一种迹象:AI 加速了部分初级律师的技能培养,却替代了另一些人的技能培养,尽管实验并未解释为何效果出现分化。

Three histograms comparing score distributions between control and treatment groups in redlining after 90 days for all attorneys, juniors, and seniors.
在没有 AI 的红线批注中,实验组的初级律师得分分布更分散,低分和高分都更多。| 图片:NBER

从 AI 中获益最多的律师,恰恰是持久技能保留最少的律师,这促使研究人员提出,基线专业能力可能是将 AI 辅助实践转化为持久能力的先决条件。

一项补充文本分析提供了一种可能的解释。资深律师更常重构有缺陷的草稿,并将其修改建立在法律原则之上,而初级律师经常发现严重缺陷却不加以修正,留下的批注读起来像是对 AI 助手的指令。由于这种行为在对照组中也出现,作者并未将其归因于 AI 训练出的习惯,而是将其视为初级律师层面的基线缺陷,使用 AI 并未修复这一问题。

结果在实践中意味着什么

作者指出了若干局限性,包括顶尖律师的高计费费率导致样本量偏小、参与研究的律所并不能代表整个专业服务行业、缺乏基线技能测量,以及三个月的窗口期与建立专利专业能力所需的数年时间相比过于短暂。

研究者认为,只要专业工作仍然需要不依赖 AI 的判断力,即时生产力提升与持久技能发展之间的张力就依然重要,而这种需求很可能长期存在。即便 AI 最终能支持红线批注,它也不太可能在客户会议和法庭程序中实时提供给律师使用,因为这些场合利害攸关,判断需要当场做出。

类似模式也出现在其他领域。在软件开发中,Anthropic 的一项研究发现,借助 AI 学习新编程库的年轻开发者在后续知识测试中的得分比不用 AI 学习的人低 17%。在论文写作方面,MIT Media Lab 发现了外包思考带来的认知债务迹象。而在管理咨询领域,BCG 的一项研究早在 2023 年就表明,能力较弱的咨询师使用 GPT-4 后的提升幅度远大于表现优秀者。

斯坦福大学的研究人员解释了多个行业中入门级岗位减少的现象,他们认为 AI 基本可以替代学校和大学传授的课本知识,而这正是早期职业工作者主要带来的东西;与此同时,经验丰富的专业人士还拥有 AI 难以轻易替代的实操专长。

这项专利律师研究汇入了关于专业能力侵蚀的更广泛讨论,一些研究者称之为“认知公地悲剧”。个体律所从自动化中获益,而人才发展受阻的代价却由整个行业承担,这项研究为这一担忧增添了更多来自真实实践的实验证据。

Anthropic 最近表示,自 2025 年初以来,其工程部门的初级岗位占比已从 21% 降至 14%。

来源:The Decoder · the-decoder.com