arXiv cs.CL· Minghan Li, Guodong Zhou·· 3 天前AI 评分23
文言文能否作为中文 LLM 的高效推理语体？Wenyan Thinking 微调 Qwen3-4B-Thinking-2507
Does the Linguistic Register of Thinking Matter? Wenyan as a Compact Reasoning Register for Chinese LLMs
AI 导读
研究者提出 Wenyan Thinking，将中文推理模型的中间推理改写为文言文、仅保留简短直接答案，并在改写后的监督数据上微调 Qwen3-4B-Thinking-2507。在 MMLU-ProX-Lite-ZH、CEVAL 和 AGIEval-CN 的预算受限评测中，该方法显著缩短推理长度并降低缺答率；在主要基准上持续优于同等数据与配方训练的紧凑现代汉语对照组。
正文 · AI 翻译
摘要：中文推理导向大语言模型可见的推理轨迹通常以现代白话中文书写，在有限的解码预算下可能显得冗长。我们探究推理的语言语域能否用于提升效率。我们提出文言思维（Wenyan Thinking），它以文言文输出中间推理，同时保留简短的直接答案输出。从现代中文推理轨迹出发，我们仅将推理字段改写为文言，并在改写后的监督数据上微调 Qwen3-4B-Thinking-2507。为区分语域转换与一般性压缩，我们使用相同源数据、教师模型家族、基座模型和 SFT 配方构建了一个紧凑的现代中文对照。在 MMLU-ProX-Lite-ZH、CEVAL 和 AGIEval-CN 上对预算敏感的各项评估中，文言思维在受限解码下大幅减少了推理长度和未作答率。紧凑改写解释了大部分效率提升，而文言在主基准上始终优于紧凑现代中文对照，并在其他基准上保持竞争力。这些结果将语言语域确定为中文大语言模型高效可见推理的一个实用设计维度。
| 评论： | 19 页 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.19741 [cs.CL] |
| （或 arXiv:2610.19741v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19741 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Minghan Li [查看邮箱]
[v1]
2026年10月14日星期三 08:04:05 UTC（68 KB）
来源：arXiv cs.CL · arxiv.org