研究者发布加拿大判例法RAG评测基准

Ethan Zhao等作者发布 CanLegalRAGBench，一个基于真实查询和专家标注答案、扎根加拿大判例法的法律问答基准，用于评估法律检索增强生成（RAG）系统。 该基准的评测显示：检索性能对设计选择敏感，开源嵌入模型与闭源模型表现相当；但自动评估会惩罚系统检索到其他相关文档。生成答案常偏离标准答案，8%至29%的陈述未获检索文档支持。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。