arXiv cs.CL· Yegor Anichkov, Valery Vinogradov, Andrey Furov, Marina Polukoshko, Sergey Bolovtsov·· 12 小时前AI 评分34
TenetBench：用于评估语言模型是否符合职业伦理准则的俄语条款锚定语料库
TenetBench: A Clause-Anchored Russian Corpus for Evaluating Language Models against Professional Codes of Ethics
AI 导读
TenetBench 构建了 3,433 条与 15 部俄语职业伦理准则条款冲突的请求，并为每条请求配对仅合法性不同的良性孪生任务，由自动化流水线从准则文本生成。
正文 · AI 翻译
摘要：职业道德准则指导和约束专业人士，而这些专业人士越来越多地使用基于大语言模型的助手工作。此类助手可能违背用户的职业准则，或帮助用户违背准则，而用户却毫无察觉。报告宽泛危害类别的评估无法说明这种情况发生的频率，也无法说明违反了哪一条款。TenetBench 将 3,433 个与十五部俄语职业准则条款相冲突的请求，与仅在所问内容合法性上有所不同的良性对照请求配对。一条自动化流水线从准则文本生成任务，因此每新增一部准则，语料库便随之扩充，而每运行一次，某一条款就会产生新任务。该流水线还从其他司法管辖区的两部英语准则生成了任务和经人工验证的判定结果。在对冻结流水线进行的人工验证中，专家评定 0.995 的冲突任务为可信，模型评判者在 1,860 个元素上与裁定标签的一致度达到 Gwet's AC1 至少 0.894。我们评估了十四种模型与推理模式的组合，考察它们是否生成冲突文本、拒绝或警告。十四种中有十一种在大多数此类请求上生成冲突内容，且大多没有警告，而近四分之三的警告伴随冲突内容出现。更合规的模型是通过拒绝、同时仍服务良性对照请求来实现的，而启用推理使两个模型的拒绝率减半。我们希望该数据集和流水线有助于评估语言模型如何遵守职业规范，并让针对特定职业和组织构建诊断数据集成为可能。
| 评论： | 预印本审稿中。39 页，2 幅图，5 张表；附在线资源 1（9 页）。数据集与代码：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29477 [cs.CL] |
| （或 arXiv:2610.29477v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.29477 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sergey Bolovtsov [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 09:32:23 UTC（420 KB）
来源：arXiv cs.CL · arxiv.org