arXiv cs.CL· Shamim Hasan, Samiya Ahmed Chowdhury·· 11 小时前AI 评分18
孟加拉语幻觉检测系统：检索与程序化推理结合，Kaggle 私有 macro-F1 达 0.956
Bengali Hallucination Detection with Retrieval and Programs: A System Study
AI 导读
一项 arXiv 系统研究提出仅推理的孟加拉语幻觉检测方案，结合响应条件查询重写、混合检索与任务专用模型评判，六条检索路径由路由器分派至 27B 文本评判模型或可执行 Python 的 14B 智能体。
正文 · AI 翻译
摘要：孟加拉语幻觉检测必须区分无支持的事实性主张与错误推理，且往往没有提供参考段落。我们提出并刻画了一个仅推理系统，它结合了以响应为条件的查询重写、混合检索和任务专用语言模型评判。六条检索路径搜索问答和段落集合；路由器将每个示例导向一个 27B 文本评判器或一个 14B 智能体，后者可以比较检索到的答案、直接推理，或生成并执行 Python。我们使用 Olikbochon 挑战赛中特定版本的代码、保存的预测、执行轨迹和语料元数据来刻画该系统。Kaggle 将显示的私有宏 F1 0.956 与版本 2 关联；其保存的运行在两块 T4 GPU 上于 220.99 分钟内处理了 2,516 个示例。在 253 个数学路由示例中，88 个通过候选匹配终止，而执行轨迹在 35 个示例中暴露出 49 个带 stderr 的运行事件。尽管核心工作代码相同，后续运行改变了六个预测。对 1,090 条基准相关语料记录的有界审计发现，38 个已处理的评估输入存在精确的问题或上下文重叠，因此无法无保留地声称实现了独立于语料的泛化。贡献是一个具体的检索与计算评判架构及其可审计的运行刻画，而非对组件增益的受控估计。我们将报告的排行榜结果与独立重新计算的诊断区分开来，并指出要提出更强的有效性和可复现性主张所需的证据。
| 评论： | 8 页 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22892 [cs.CL] |
| （或此版本的 arXiv:2610.22892v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.22892 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shamim Hasan `` [查看电子邮件]
[v1]
2026 年 10 月 16 日星期五 03:46:27 UTC（19 KB）
来源：arXiv cs.CL · arxiv.org