arXiv cs.AI· Anil Srirangapatna Nagesh, Nitin Gupta, Anuj Taneja, Vivek Singh, Shane Eleniak, Theo Zhao, Moulidharan N, Shashank Keshetty·· 11 小时前AI 评分31
用 RSOD 构建电信语言模型：领域数据、专家后训练、内存感知蒸馏与网络评测
Building Telecom Language Models with RSOD: Domain Data, Specialist Post-Training, Memory-Conscious Distillation, and Networking Evaluation
AI 导读
研究提出端到端框架 RSOD，从网络分类体系构建 212,559 条路由训练记录，在共享继续预训练骨干上训练六个冻结的 LoRA 专家教师，再蒸馏为单一可部署学生适配器 Llama-CalixCLM v1。
正文 · AI 翻译
摘要：电信语言模型必须将广泛的网络知识与路由、宽带服务、接入技术和运维诊断方面的专业行为相结合，同时保持作为单一模型部署的实用性。我们提出了一个端到端框架，该框架从结构化网络分类体系和专家图构建有来源依据的合成训练数据，在十四条网络路由上生成 212,559 条路由训练记录，在一个共享的持续预训练主干上训练六个冻结的专家 LoRA 教师模型，并使用路由专家同策略蒸馏（RSOD）将其行为整合到一个可部署的学生适配器中。在 RSOD 中，已提交的学生模型生成每条轨迹，路由分配的专家教师模型强制使用精确的原生 token 序列，紧凑的教师隐藏状态通过共享的冻结输出头重建，并且仅更新学生 LoRA。一项受控重建验证显示，平均绝对 logit 误差为 7.26 x 10^-6，原生与重建教师 logit 之间的 top-1 一致率为 100%。在四块 RTX 6000 Ada GPU 上，完成的 2,000 步运行产生了 16,000 条轨迹，未观察到学生版本或 token ID 不匹配。在针对 2,850 个留出问题的首要路由条件评估中，原始 Meta-Llama-3.1-8B-Instruct 模型得分为 12.8661/25 微平均（13.0172/25 宏平均），组合的路由六教师系统得分为 21.7641/25 微平均，而整合后的 RSOD 学生模型（以 Llama-CalixCLM v1 发布）在相同的五维 LLM 评判评分标准下达到 21.7112/25 微平均（21.8006/25 宏平均）。在另一个类似部署的中性提示下，同一学生模型达到 20.0028/25 微平均（20.0778/25 宏平均）。整合后的学生模型与组合的路由教师系统相比，微平均得分差距保持在 0.0529 分以内，同时保留了经过数值验证且可审计的训练-服务执行路径。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.6；I.2.7；C.2.3 |
| 引用为： | arXiv:2610.27993 [cs.AI] |
| （或此版本的 arXiv:2610.27993v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.27993 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：AnilKumar Srirangapatna Nagesh [查看电子邮件]
[v1]
2026年10月20日星期二 10:30:58 UTC（7,373 KB）
来源：arXiv cs.AI · arxiv.org