arXiv cs.AI· Chenhao Hong, Jiakai Xu, Kaushiki Singh, Yusen Zhang, Eugene Wu·· 1 天前AI 评分29
CIRCE 利用约束结构预测 LLM 任务复杂度
CIRCE Divines LLM Task Complexity from Constraint Structure
AI 导读
CIRCE 通过廉价 LLM 构建约束中间表示并确定性编译为约束图，从问题约束结构预测 LLM 能否答对。在七个推理基准（含 SAT、逻辑与数学）和四个 LLM 上，随机初始化的 GNN 编码器即把负对数似然从 0.465 降至 0.423，AUROC 从 0.691 提升至 0.727。该估计可在模型尝试前指导模型路由与测试时算力分配。
正文 · AI 翻译
摘要：在大型语言模型（LLM）尝试解决问题之前，估计该问题对模型是否过于复杂，可以指导模型路由、如何分配测试时计算，并提示需要新工具来辅助智能体。现有的估计器依赖于问题文本、LLM 标注的任务难度标签，或模型尝试解决问题后获得的信号（如隐藏状态），但它们都没有明确利用问题固有的约束结构：需要赋值的变量以及这些变量上的约束如何相互作用。
我们提出 CIRCE，它通过使用一个低成本 LLM 构建约束中间表示来提取问题的结构，该表示可确定性地编译为约束图。在七个推理基准（包括 SAT、逻辑和数学）和四个 LLM 上，即使是一个随机初始化的 GNN 编码器也能改进对 LLM 响应正确性的预测，相对于各指标的最强基线，将负对数似然从 0.465 降至 0.423，并将 AUROC 从 0.691 提升至 0.727。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41089 [cs.AI] |
| （或 arXiv:2610.41089v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41089 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chenhao Hong [查看电子邮件]
[v1]
2026年10月30日星期五 00:08:01 UTC（139 KB）
来源：arXiv cs.AI · arxiv.org