arXiv cs.AI· Sutanshu Saksena Raj, Prasanjith Pasunuti, Parijat Chatterjee, Daksh Maan, Purusharth Malik, Nayanjit Sarkar, Avinash Benki·· 3 天前AI 评分38
Gnani-Evon-v3.3-30B-A3B：一款主权级、以印度语言优先的推理模型
A Sovereign, Indic-First, Reasoning Model
AI 导读
Gnani-Evon-v3.3-30B-A3B 是一款面向英语及八种印度语言的长上下文混合 Mamba-Transformer MoE 推理模型，基于 NVIDIA Nemotron-3-Nano-30B-A3B 检查点，保留 52 层主干并更换词表、训练数据与后训练目标。
正文 · AI 翻译
摘要：Gnani-Evon-v3.3-30B-A3B 是一个长上下文混合 Mamba-Transformer 专家混合模型，用于英语和八种印度语言的推理、指令遵循和工具使用。它从 NVIDIA 的 Nemotron-3-Nano-30B-A3B 检查点出发，保留 52 层主干，并更改了词汇表、训练数据和后训练目标。从 131,072 到 163,072 个 token 的就地扩展将印度语言的平均生育率降低了 38.6%。新的嵌入行从其上游分解初始化，并在主干更新之前进行预热。持续预训练随后加入广泛的英语-印度语言数据、高质量退火，以及以 131,072 token 序列长度进行的直接训练。
核心结果出现在后训练之后。在四个可验证任务环境中的强化学习提高了数学、研究生水平科学和指令遵循能力，但降低了印度语言抽取式问答，因为奖励不要求以所请求的语言作答。以英语回答的印度语言抽取项目占比从 8.7% 上升到 91.7%。以目标文字作答条件下的准确率大约翻倍，这与阅读能力得以保留一致，但测量是在自选子集上进行的。
两项未发布的研究测试了修复方法。限定范围的印度语言奖励恢复了语言惯例。一个 26B-A4B 生成式评判器在 RM-Bench 上优于一个 235B 参数模型，而蒸馏恢复了因针对其优化而失去的 81% 的能力。
相对于架构完全相同的起始检查点，发布的模型在印度语言综合指标上提高了 5.2 分，同时牺牲了 1.7 分的英语保留度。未发布的印度语言感知分支进一步权衡，以 5.4 分的英语代价换取 14.6 分的印度语言提升。计划中的 FP8 版本将产物缩减至 32GB，在 32 个配对基准上的平均变化接近于零。
| 评论： | 69 页，24 幅图，49 张表。技术报告 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15371 [cs.CL] |
| （或 arXiv:2610.15371v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15371 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sutanshu Saksena Raj [查看电子邮件]
[v1]
2026 年 10 月 11 日星期日 05:52:29 UTC（2,839 KB）
来源：arXiv cs.AI · arxiv.org