arXiv 发布 Jev 语义决策组件评测研究

1. 12:00
   arXiv cs.CL

   Jev 用于科学决策：评估语义选择及其后果

   研究将 Jev 作为语义决策组件进行评测，在 10 个科学案例的 20 个 Choices 上比较 12 种模型配置，每个重复 5 次，分别测量语义选择、下游输出与最终结论标签。Jev 在语义完全正确率上与另外 5 种配置持平，并在成功响应中取得最低中位延迟。三个对比模型在一个 culture-history 问题上出现 7 次错误选择，改变了下游计数却保留了正确的最终标签。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。