arXiv·· 12 天前AI 评分29
相同反馈，不同答案：衡量前沿模型客户反馈分析中的运行间不稳定性
Same Feedback, Different Answer: Measuring Run-to-Run Instability in Frontier-Model Customer Feedback Analysis
AI 导读
研究提出重复运行评估框架，用于衡量前沿模型在客户反馈分析中的运行间不稳定性，核心指标为类别集归一化变化的主题流失率（theme churn）与类别计数变化的数量分歧（volume disagreement）。该框架对齐语义等价的类别，指出当底层证据不变时，智能体的类别、优先级与计数不应在多次运行间出现实质漂移。
来源：arXiv · arxiv.org