arXiv cs.CL· Baowen Zhang, Hangting Ye, Hongyuan Zha·· 3 天前AI 评分32
表格数据上的类型化决策模型研究
Typed Decision Models on Tabular Data
AI 导读
研究在表格数据上对比四种类型化决策模型与三个 LLM,覆盖行分类、事实核查和异常检测任务。每个请求以原始形式及 21 种保持内容不变的改写形式发送,决策模型以更低成本达到与 LLM 相当的表现,其中三个对问题表述方式远为稳健。但所有模型对表格组织方式都不稳健,至少三分之一的决策会因表格或问题的某种改写而改变,低概率决策最易变化。
正文 · AI 翻译
摘要:类型化决策模型是一类语言模型,它们通过为每个答案返回概率而非生成文本来回答具有固定候选答案集的问题。我们在表格数据上研究这类模型,并在行分类、事实核查和异常检测任务上比较了四个决策模型与三个大语言模型(LLM)。每个请求都以其原始形式以及 21 种保持内容不变的改写形式发送,例如重命名选项或以另一种格式书写表格。决策模型的表现与 LLM 相当,但成本更低。其中三个模型对问题表述方式的鲁棒性也远高于 LLM。我们测试的所有模型都无法对表格的组织方式保持鲁棒。对于每个模型,在表格或问题的某种改写下,至少有三分之一的行决策会发生变化。决策模型给出低概率的决策正是最可能发生变化的决策。决策模型是表格决策的实用选择,但其鲁棒性仍是一个未解决的问题。
| 评论: | 22 页,9 幅图,19 张表 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2610.19536 [cs.CL] |
| (或 arXiv:2610.19536v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.19536 arXiv 颁发的 DOI,经由 DataCite(待注册) |
提交历史
来自:Baowen Zhang [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 03:54:19 UTC(420 KB)
来源:arXiv cs.CL · arxiv.org