arXiv cs.CL· Natapong Nitarach, Phume Ngampornsukswadi, Pittawat Taveekitworachai, Surapon Nonesung, Warit Sirichotedumrong, Kunat Pipatanakul·· 6 天前AI 评分22
AMLworld-Compact：面向低成本 LLM 评估与错误诊断的重要性加权降采样方法
AMLworld-Compact: Importance-Weighted Downsampling for Cost-Effective LLM Evaluation and Error Diagnosis
AI 导读
研究者提出 AMLworld-Compact 评估集，保留全部非法测试交易、按监督分数分层采样良性交易，其 HT-Coreset 协议在 HI-Small 和 LI-Small 上分别将评估目标减少 271 倍和 611 倍。
正文 · AI 翻译
摘要：在 AMLworld 最小的测试划分上评估大语言模型（LLM）成本高昂，因为超过一百万个目标中的每一个都需要单独的图提示。采样可以降低这一成本，但小型平衡子集会改变未加权精确率和 F1。我们引入 AMLworld-Compact，这是一个评估集，保留每个非法测试交易，并从监督分数分层中采样良性交易。其 HT-Coreset 协议在 HI-Small 和 LI-Small 上将评估目标分别减少 271 倍和 611 倍。Horvitz-Thompson 权重为固定预测提供无偏的全测试混淆计数估计；召回率是精确的，而精确率和 F1 是比率估计。在一项使用图特征预处理器（GFP）特征的留出研究中，一个提升树族定义分层，用于在每种配置超过 500 次抽取中评估另一个。在发布的规模下，F1 RMSE 为 0.00-2.58 个百分点，而使用 HT 权重的均匀采样为 4.44-7.41；保守区间仍然较宽。在所评估的图提示下，七个开放权重 LLM 的加权精确率接近预测全部非法的基线。在对每个模型一次运行的 1,000 个 HI-Small 少样本输出进行的结果分层审计中，词法检查在 84.5% 的正确和 56.2% 的错误二元判定中通过，因此这些标记不能确立正确性。我们在 此 https URL 和 此 https URL 发布评估集、构建代码和审计工具。
| 评论： | 28 页，5 幅图，27 张表。审稿中 |
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.13627 [cs.CL] |
| （或 arXiv:2610.13627v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13627 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Natapong Nitarach [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 14:09:32 UTC（171 KB）
来源：arXiv cs.CL · arxiv.org