Jev 能否理解立场？Jev 与通用 LLM 的立场检测对比评测

Can Decision Models Understand Stance? Evaluating Jev Against General-Purpose LLMs

AI 导读

研究在 VAST（英文文本）和 ZS-CSD（中文对话）两个立场检测数据集上评测了专用决策模型 Jev，并与四个通用 LLM 及两个微调模型对比。Jev 在 VAST 上表现与 GPT-5.6 相当并优于其他通用 LLM，但在 ZS-CSD 上落后于更强的 LLM，尤其在区分"支持"与"反对"时。分析显示该局限可能与理解回复关系和立场方向有关，而非仅由对话长度导致。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：立场检测需要识别作者对给定目标的态度，有时还需基于对话上下文。Jev 是一种专为结构化决策设计的专用决策模型，为通用大语言模型（LLM）提供了一种替代方案。在本研究中，我们在两个立场检测数据集 VAST（英文文本）和 ZS-CSD（中文对话）上评估 Jev，并将其与四个通用 LLM 和两个微调模型进行比较。结果表明，Jev 在 VAST 上取得了有竞争力的性能，与 GPT-5.6 相当，并优于其他通用 LLM。然而，在 ZS-CSD 上它落后于更强的 LLM，尤其是在区分支持与反对方面。进一步分析表明，这一局限可能与理解回复关系和立场方向有关，而不仅仅是对话长度。这些发现凸显了 Jev 在立场检测方面的潜力和局限。

评论：	8 页，1 张图，5 张表
主题：	计算与语言（cs.CL）
引用为：	arXiv:2610.11901 [cs.CL]
	（或 arXiv:2610.11901v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.11901 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Xing Li [查看邮箱]
[v1] 2026 年 10 月 8 日星期四 13:05:52 UTC（59 KB）

来源：arXiv cs.CL · arxiv.org