arXiv cs.CL· Md Rayhanul Masud, S M Maksudul Alam, Mohammad Jaminur Islam·· 3 天前AI 评分22
BANGLAPLAN：孟加拉语约束规划与决策基准
BANGLAPLAN: A Benchmark for Constraint-Based Planning and Decision-Making in Bangla
AI 导读
研究者发布 BANGLAPLAN，一个覆盖十类任务、共 1,000 道题的孟加拉语约束规划与决策基准，含可行与不可行问题及四种语言语域。评测 11 个开源与闭源模型配置显示差距悬殊：GPT-6.1 Sol 准确率 98.7%，Qwen3.5-27B 开启 thinking 达 80.3%，而直接作答配置最高仅 30.9%，11 个配置中有 7 个低于“全部不可行”基线。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地帮助用户安排预约、规划行程和分配有限资源。这些任务要求模型满足时间、成本、容量和顺序方面的约束，或判定不存在可行解。孟加拉语是世界上使用人数第七多的语言，现有基准已覆盖许多语言和推理任务。然而，用于评估孟加拉语在明确约束下的规划与决策能力的基准仍然缺乏。我们提出 BANGLAPLAN，这是一个包含 1,000 道问题的基准，涵盖植根于孟加拉国日常生活和机构的十个任务族。它包含四种语言语域下的可行与不可行问题：日常、正式、口语以及孟加拉语—英语混合。答案涵盖八种结构化类型，包括日程、路线、分配和有序步骤，采用统一的 JSON 格式。我们通过语言模型辅助起草和独立人工验证构建该基准。我们使用精确匹配评估了 11 个开放权重和专有模型配置，分别报告可行案例准确率、不可行性检测和格式错误。我们发现存在巨大性能差距：GPT-6.1 Sol 达到 98.7% 的准确率，带思考的 Qwen3.5-27B 达到 80.3%，而直接回答配置最高仅得 30.9%。11 个配置中有 7 个低于始终回答“不可行”的基线。我们的发现还表明，更难的问题主要降低计划构建准确率，而不可行性检测则更为稳健。BANGLAPLAN 为评估孟加拉语规划与决策提供了可复现的基础。BANGLAPLAN 可在以下网址获取：此 https URL。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19704 [cs.CL] |
| （或 arXiv:2610.19704v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19704 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Md Rayhanul Masud [查看电子邮件]
[v1]
2026年10月14日星期三 07:32:32 UTC（225 KB）
来源：arXiv cs.CL · arxiv.org