SANE：自动生成LLM评判器蜕变测试
热点事件持续更新
SANE：自动生成LLM评判器蜕变测试
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
研究团队提出智能体框架 SANE，用于为 LLM 评判器（评分器）自动生成蜕变测试。SANE 根据评分器规格、实现和代表性输入识别该评分器特有的能力，再推导扰动配方及其预期分数关系。 在五个领域的对比中，SANE 生成的已验证测试族数量是 Judge Reliability Harness（JRH）的 3.7 倍，端到端有效性相当；在 JRH 未能检出的专业性与毒性领域，SANE 也发现了评分器缺陷。
AI 根据报道生成 · 2 小时前更新
最新进展10月22日 12:00
SANE：面向 LLM 评判器的自动化评分器专属蜕变测试框架报道时间线
沿着报道，了解事件的不同侧面。
10月22日
- arXiv cs.CLSANE：面向 LLM 评判器的自动化评分器专属蜕变测试框架
研究团队提出智能体框架 SANE，可根据评分器规格、实现和代表性输入自动识别评分器专属能力，并推导扰动配方与预期分数关系。在五个领域中，SANE 生成的已验证测试族数量是 Judge Reliability Harness（JRH）的 3.7 倍，端到端有效性相当，且在 JRH 未能检出的专业性与毒性领域也发现了评分器缺陷。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。