研究者提出ANT-A基准与ANT-OR标注框架

Xiaopeng Ke等作者提出ANT-A Benchmark，用于检验大语言模型的标注结果能否与人类标注者的一致性相匹配。该基准覆盖7个跨领域、跨模态数据集，每个实例含5个独立人类标注，并以Fleiss kappa评估模型标注与人类标注分布的一致性。 作者同时提出ANT-OR多智能体标注框架，报道称其通过多智能体对比知识优化来提升标注表现。目前尚无该框架在基准上取得何种量化结果的结论。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。