arXiv cs.AI· Nikolaos D. Tantaroudas, Ilias Karachalios, Andrew J. McCracken·· 10 天前AI 评分28
工具调用检索与向量 RAG 对比：小型希腊语-英语知识库的准确率与用户输入鲁棒性
Tool-calling retrieval versus vector RAG for a small Greek--English knowledge base: accuracy and robustness to how users type Greek
AI 导读
在 KyGround 基准（198 道题、每题最多 9 种希腊语变体）上，以 Claude Haiku 4.5 为路由和回答模型，向量 RAG 正确率 95.3%，工具调用智能体仅 71.6%，差距 23.6 个百分点。
正文 · AI 翻译
摘要：基于小型、频繁编辑的知识库的助手，可以通过工具调用访问实时数据接口进行检索，也可以通过向量检索增强生成（RAG）进行检索。我们在 KyGround 上对两者进行了比较。KyGround 是一个包含 198 个问题的基准，问题取自希腊基西拉岛一个希腊语—英语农业平台的公开记录，答案根据记录自动验证，每个问题以最多九种形式提出，包括不带重音的希腊语、全大写形式以及三种拉丁字母（Greeklish）转写方案。以 Claude Haiku 4.5 作为路由器和答案模型，对该平台工具智能体的重建在标准希腊语问题上正确回答了 71.6\%，而向量 RAG 为 95.3\%（差异为 $-23.6$ 个百分点，95\% CI 为 $-33.1$ 至 $-15.1$）。让路由器编写向量查询没有带来任何变化，而将约 26,000 个 token 的整个知识库放入提示中则达到了 99.3\%。工具智能体的损失出现在检索环节。当路由器的参数没有逐字出现在某条记录中时，其字面搜索返回空结果，例如当它将希腊语转写为拉丁字母，或将记录中出现但并非作为一个短语出现的词组合在一起时，智能体随后便弃权。不带重音和全大写的问题使工具智能体损失约 20 分，而向量 RAG 最多损失 2 分；不区分重音的搜索消除了这一损失，匹配词干化 token 使工具智能体在标准希腊语上提升至 83.8\%。Greeklish 使两种设计都损失约 21 至 32 分。面向社区知识库的工具接口需要能够容忍用户输入方式的搜索。
| 评论： | 13 页；2 幅图； |
| 主题： | 计算工程、金融与科学（cs.CE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.08205 [cs.CE] |
| （或 arXiv:2610.08205v1 [cs.CE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08205 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Nikolaos Tantaroudas 博士 [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 11:58:55 UTC（42 KB）
来源：arXiv cs.AI · arxiv.org