arXiv cs.CL· Lijia Liu, Kyohei Atarashi, Jiyi Li, Koh Takeuchi, Shunji Umetani, Hisashi Kashima·· 11 小时前AI 评分29
NLData2Opt：评估 LLM 从自然语言与数据建模优化问题的基准
NLData2Opt: Benchmarking Parameter Derivation and Prediction for Modeling Optimization Problems from Natural Language and Data
AI 导读
研究者提出 NLData2Opt 基准，用于评估 LLM 在真实优化建模流程中的多阶段推理能力，要求模型从含误导属性的数据中提取参数、通过变换已有属性计算缺失参数，并从历史观测预测未来值。结果显示，模型在该基准上的表现较现有基准大幅下降，说明基准分数的提升并不能直接转化为实际优化工作流中的建模准确率。该基准已公开。
正文 · AI 翻译
摘要：从问题描述和数据的原始输入出发构建优化问题既耗时又成本高昂。虽然大语言模型（LLM）为自动化这一过程提供了一种有前景的途径，但现有基准测试高估了其能力，因为它们依赖于所有数据都相关且完整的理想化输入。这与现实情况不符，现实中需要以数据为中心的推理，从含噪来源中提取、计算和预测参数。为解决这一问题，我们推出了 NLData2Opt，这是一个用于评估 LLM 在实际优化工作流中固有的多阶段推理能力的基准测试。NLData2Opt 将问题分解为问题描述和数据，并要求模型（1）从包含误导性属性的数据中提取相关参数，（2）计算通过转换现有数据属性得出的缺失参数，以及（3）根据历史观测预测不可用的未来值。评估结果显示，相对于现有基准测试，性能大幅下降，这表明基准测试的进展并不能直接转化为实际优化工作流中的建模准确率。NLData2Opt 可在 此 https URL 获取。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22889 [cs.CL] |
| （或 arXiv:2610.22889v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22889 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Lijia Liu [查看电子邮件]
[v1]
2026年10月16日星期五 03:43:00 UTC（1,786 KB）
来源：arXiv cs.CL · arxiv.org