arXiv cs.CL· Boyuan Deng, Shuyi Fan, Hongyang Zhang, Xinhong Xie·· 2 天前AI 评分22
Jev 用于科学决策：评估语义选择及其后果
Jev for Scientific Decisions: Evaluating Semantic Choices and Their Consequences
AI 导读
研究将 Jev 作为语义决策组件进行评测，在 10 个科学案例的 20 个 Choices 上比较 12 种模型配置，每个重复 5 次，分别测量语义选择、下游输出与最终结论标签。Jev 在语义完全正确率上与另外 5 种配置持平，并在成功响应中取得最低中位延迟。三个对比模型在一个 culture-history 问题上出现 7 次错误选择，改变了下游计数却保留了正确的最终标签。
正文 · AI 翻译
摘要：科学工作流通常需要在确定性计算开始之前，在已知关系之间做出选择。观测数据是否共享同一文化、处理或参考标准，会改变所得计数或比较的科学含义。我们使用一个遵循其文档指导并将算术分配给代码的测试框架，将 Jev 评估为语义决策组件。该研究在十个科学案例的二十个基于来源的 Choices 上比较了十二种模型配置，每种重复五次。我们分别测量语义选择、下游输出和最终声明标签。Jev 在完全语义正确性上与其他五种配置持平，并在成功响应中取得了观测到的最低中位延迟。在三个对比模型中，一个文化历史问题上的七次错误选择改变了下游计数，同时保留了正确的最终标签。这些结果确定了 Jev 在准备好的科学决策任务中的有用作用，并说明了为什么评估这一作用需要检查工作流将复用的关系和数量。
| 评论： | 9 页，1 幅图，6 张表。代码可在 此 https URL 获取 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2609.24965 [cs.CL] |
| （或 arXiv:2609.24965v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.24965 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Boyuan Deng [查看电子邮件]
[v1]
2026 年 9 月 21 日星期一 17:51:50 UTC（167 KB）
[v2]
2026 年 9 月 23 日星期三 04:04:31 UTC（166 KB）
[v3]
2026 年 10 月 15 日星期四 07:14:47 UTC（218 KB）
来源：arXiv cs.CL · arxiv.org