arXiv cs.AI· Shyam Agarwal, Olga Lvova, Agnia Sergeyuk, Anastasiia Serova, Timofey Bryksin, Thomas Zimmermann, Bogdan Vasilescu·· 10 小时前AI 评分49
JetBrains 研究：工程师 token 消耗量衡量的是什么？
The AI Era's Lines of Code? A Case Study on What an Engineer's Token Spend Measures
AI 导读
JetBrains 将 404 名工程师五周的编码智能体 token 用量与提交记录关联，发现 token 消耗主要因工程师而异，且高消耗者五周内基本稳定。在提交数相近的周里，消耗第 90 百分位是第 10 百分位的 39 至 240 倍；同一工程师消耗翻倍仅对应约 10% 的提交增长。现有工作指标只能解释工程师间消耗差异的 38%，因此 token 消耗更适合资源核算，而非衡量产出价值。
正文 · AI 翻译
摘要：组织使用工程师的 token 消耗量来监测 AI 采用情况、设定预算并衡量生产力，但该指标与工程产出之间的关系尚不明确。我们将 JetBrains 404 名工程师连续五周的编码智能体 token 使用量与提交记录相关联，并分析了一项覆盖 412 名员工的公司调查。我们发现，token 消耗量主要在工程师之间存在差异，而哪些工程师消耗最多在五周内基本保持稳定。在提交次数相近的周之间，消耗量的第 90 百分位是第 10 百分位的 39 至 240 倍。在同一工程师内部，消耗量翻倍与提交次数增加约 10% 相关。可用的工作指标解释了工程师之间消耗量差异的 38%，以及同一工程师周与周之间差异的 13%。在调查中，技术岗位的受访者在近十分之九的智能体评估中报告使用智能体完成编码以外的任务，例如分析、研究和规划。因此，token 消耗量衡量的是工程师在多种工作中使用智能体的程度，而非这些工作的成果和价值。我们建议 token 消耗量最多用于资源核算，并用关于任务和成果的证据来评估智能体辅助的工作。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.13396 [cs.SE] |
| （或 arXiv:2611.13396v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13396 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shyam Agarwal [查看电子邮件]
[v1]
2026年11月10日星期二 00:17:26 UTC（306 KB）
来源：arXiv cs.AI · arxiv.org