arXiv cs.AI· Viraj Bagal, Raviraja Ganta, Prabhath Chellingi·· 10 天前AI 评分27
相同反馈，不同答案：衡量前沿模型客户反馈分析中的重复运行不稳定性
Same Feedback, Different Answer: Measuring Run-to-Run Instability in Frontier-Model Customer Feedback Analysis
AI 导读
研究提出重复运行评估框架，用主题流失率和数量分歧两项指标衡量 AI 智能体分析客户反馈的稳定性。在 Claude Opus 4.8 和 1000 条记录语料下，基于分类体系的智能体（TGA）相比原始生成和分层分解将主题流失率降低 86–88%，匹配主题的数量分歧为零。该框架面向金融报告、法律文件等非结构化语料的重复综合任务。
正文 · AI 翻译
摘要：AI 智能体正越来越多地被编程为在大量非结构化数据上自动化知识工作。此类自动化需要可重复性：当底层证据未发生变化时，智能体的类别、优先级和计数在多次运行之间不应出现实质性偏移，即使每个单独答案看起来都合理。我们引入了一个重复运行评估框架，该框架对语义等价的类别进行对齐，并聚焦于两个运行指标：主题流失率（返回类别集合的归一化变化）和数量分歧（持续存在的类别的计数变化）。我们在八种前沿模型、100 至 5,000 条记录的语料规模、多种提示词以及三种执行设计（原始生成、无分类体系的层次化分解，以及使用持久主题、子主题和记录级预测的分类体系锚定智能体（TGA））上评估了三项反复出现的客户反馈任务。在固定使用 Claude Opus 4.8 和 1,000 条记录语料的情况下，TGA 相对于原始生成和层次化分解将主题流失率降低了 86--88%，而匹配主题的数量分歧为零。分类体系锚定智能体比筛选中的每一个原始模型都更稳定，在每种语料规模下都保持更稳定，并且当主题匹配变得更严格或更宽松时仍保持这一优势。尽管是在客户反馈上进行评估，该框架针对的是更广泛的非结构化语料库的重复综合，包括财务报告、法律文件、事件记录和科学文献。总体而言，这些结果表明，分类体系锚定可为反复出现的知识工作生成更一致、更可重复的输出。
| 评论： | 9 页 |
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.08036 [cs.AI] |
| （或 arXiv:2610.08036v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08036 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Viraj Bagal [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 09:29:25 UTC（35 KB）
来源：arXiv cs.AI · arxiv.org