arXiv cs.AI· Xiaowei Su, Xusen Cheng·· 3 天前AI 评分20
PatTransBench：面向专利机器翻译的 IPC 分层多维评测基准
PatTransBench: an ipc-stratified, multi-dimensional benchmark for patent machine translation evaluation
AI 导读
PatTransBench 是一个包含 12,000 条中英/日/韩专利机器翻译（PatMT）评测基准，含 6,000 条短文本与 6,000 条长文本句对，按 IPC 分层采样并覆盖三个语对的双向翻译。
正文 · AI 翻译
摘要：我们提出 PatTransBench，一个包含 12,000 条中英/日/韩专利机器翻译（PatMT）基准，并配有四维评估协议。该基准包含 6,000 条短文本（句子/权利要求）和 6,000 条长文本（段落）对，均匀分布于三个语言对和两个翻译方向，通过 IPC 部类分层采样和双阈值质量门控从上游专利族平行语料库构建而成。评估协议涵盖字面 n-gram 重叠（BLEU、ROUGE-L、chrF）、跨语言语义文本相似度（CLSTS）、38 探针语言一致性测试以及并发下的服务性能。对 PatMT2-7B 及其 fp8/AWQ4/AutoRound-4bit 变体的案例研究揭示了被总体分数掩盖的方向依赖量化效应，以及单一指标评估无法察觉的跨量化方案的非单调语言失败模式。我们计划在发表后发布该基准、协议和案例研究结果，以支持可复现的 PatMT 评估。
| 评论： | 4 页，2 幅图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16538 [cs.CL] |
| （或 arXiv:2610.16538v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16538 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiaowei Su [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 10:25:06 UTC（56 KB）
来源：arXiv cs.AI · arxiv.org