arXiv cs.AI· Ramchand Kumaresan, Madhusudhanan G, Kaushik Kezendirane·· 3 天前AI 评分22
Agaram 2.5B：首个从零训练的泰米尔语优先语言模型，支持工具调用
Agaram 2.5B: The First Tamil-First Language Model Trained from Scratch with Tool Calling. A Playbook for Under-Represented Languages
AI 导读
研究团队从零训练了 Agaram 2.5B——一个 25 亿参数的泰米尔语-英语模型，在约 500 亿 token（58% 泰米尔语）上使用单节点 8 张 H100 GPU 耗时约六天完成。
正文 · AI 翻译
摘要：我们从零开始训练了 Agaram 2.5B，一个 25 亿参数的泰米尔语-英语语言模型，在约 500 亿 token（58% 泰米尔语，其余为英语、数学、代码和平行文本）上，使用一个节点的八块 H100 GPU，耗时约六天，并采用了新的分词器，与我们第一个模型不同，它保留换行符。在 134,428 段对话（其回复由一个开放权重教师模型撰写）上进行监督微调，并经过三轮简短的有针对性训练后，它变成了一个聊天模型，可以用泰米尔文、罗马化泰米尔语（Tanglish）和英语作答，并能调用工具：在 25 个其模式出现在训练中的工具提示上，它 23 次选对了工具，13 次给出了完全符合预期的参数。发布的模型在所有六个 FLORES 和 IN22 方向上翻译效果都优于 Sarvam-1（一个 2B 印度语言基础模型）（FLORES chrF 译入泰米尔语为 54.3，译入英语为 55.2，而后者为 49.2 和 44.2），并在原生泰米尔语 IndicIFEval 上几乎将其基础模型翻倍（从 10.0% 提升至 19.3%）。它在知识方面较弱：阅读理解与知识基准测试接近随机水平，在由一位母语者撰写的 50 个留出日常问题上，一位 LLM 评判员认为其 46% 的回复可用（三轮中 50 个里有 22-24 个；50 个中 23 个的 95% 区间为 33-60%），几乎每一次失败都是事实错误。我们另外两次 SFT 实验改变了答案格式，但没有改变知识指标。我们还描述了我们的第一个模型 Agaram 1.5B，其失败塑造了此处的选择；评判员在相同回复上不同轮次评分的变化；以及逐项说明有针对性的训练轮次针对什么进行训练，以及前沿模型文本在何处进入数据。该项目依靠计算积分和我们自己的资金运行，两个模型共约 13,300 美元；权重已发布（许可证将在法律审查后公布），GGUF 文件见 此 http URL，见 此 https URL，代码见 此 https URL
| Comments: | 29 页，10 幅图，12 张表。技术报告 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.18420 [cs.CL] |
| （或 arXiv:2610.18420v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18420 arXiv 颁发的 DOI，通过 DataCite（待注册） |
Submission history
发件人：Ramchand Kumaresan [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 14:00:05 UTC（298 KB）
来源：arXiv cs.AI · arxiv.org