arXiv cs.AI· Rudrajit Choudhuri, Christian Bird, Carmen Badea, Anita Sarma·· 11 小时前AI 评分38
TACT：用 AI 委员会做可追溯的定性分析
TACT: A Pragmatic Approach to Qualitative Analysis with an AI Council
AI 导读
论文提出 TACT（Traceable AI Council for Thematic analysis），一种让团队保留解释与判断控制权的大规模定性分析流程，含 TACT-Lite 与加入对抗模型和决策模型的 TACT-Full 两个版本。
正文 · AI 翻译
摘要：定性数据可以告诉软件团队其利益相关者需要什么，但严格分析数千条定性回答需要专家时间，而很少有团队能够负担或证明其合理性。因此，团队常常面临一个错误的选择：要么不分析这些回答，要么将其交给大型语言模型并接受其解释和判断。在本文中，我们采用务实的方法进行 AI 辅助的定性分析，并提出了 TACT（可追溯 AI 委员会用于主题分析），这是一种能够大规模进行此类分析、同时让团队掌控解释和判断的程序。TACT 有两种变体：TACT-Lite，核心 AI 委员会程序；以及 TACT-Full，增加了对抗者（来自其他模型家族的模型，用于批评每个模型的输出）和一个决策模型，该模型揭示高不确定性的编码分配。我们在一个由其他研究人员定性编码的 256 个 Stack Overflow 线程的独立数据集上评估了 TACT。与他们的标签相比，TACT 的候选代码本达到了 0.75-0.77 的 F1，其最终编码达到了 0.71-0.72 的 F1。在一个留出样本上，我们自己的手动编码与 TACT 的编码之间的一致性为 Cohen's $\kappa$ 0.79-0.85。TACT 也很经济：每 100 个线程的模型调用成本为 \$13.77（TACT-Lite）到 \$33.59（TACT-Full）。最后，基于我们构建和验证 TACT 的经验，我们识别了 AI 辅助定性分析中的陷阱，描述了应对这些陷阱的保障措施，并为团队和研究人员在实践中应用 TACT 提供了指导。
| 评论： | 12 页 |
| 主题： | 软件工程 (cs.SE)；人工智能 (cs.AI)；人机交互 (cs.HC) |
| 引用为： | arXiv:2611.05702 [cs.SE] |
| （或 arXiv:2611.05702v1 [cs.SE] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.05702 arXiv 发布的 DOI 通过 DataCite（待注册） |
提交历史
来自：Christian Bird [查看电子邮件]
[v1]
2026 年 11 月 3 日星期二 22:30:18 UTC（169 KB）
来源：arXiv cs.AI · arxiv.org