arXiv cs.AI· Bhawani Shankar Leelar, Pawan Chorasiya, Davin Hill, Robert E. Tillman, Tamer Soliman·· 9 天前AI 评分24
可见推理并非通用优化器：分析代码生成中人格与思考依赖效应
Visible Reasoning Is Not a Universal Optimizer: Persona- and Thinking-Dependent Effects in Analytics Code Generation
AI 导读
一项基于 SQL-pandas 匹配查询基准的研究发现，可见 CoT 并不带来普遍准确率优势，将推理表示与目标语言（SQL 或 Python）匹配也未见一致收益。效果取决于人格措辞、目标语言、模型配置与内部推理设置，控制消融实验进一步区分了推理内容与提示词格式的作用。研究认为推理策略应针对模型、人格、目标与内部推理配置联合选择，而非作为通用默认。
正文 · AI 翻译
摘要：可见思维链（CoT）通常被视为一种广泛适用的推理指令，然而分析代码生成融合了自然语言歧义、模式接地、目标语言约束以及模型特定的推理行为。由于同一个分析请求可以用两种不同的目标语言——SQL 和 Python（pandas）——来表达，这一场景为检验一个常见但研究不足的假设提供了天然的测试：当推理的表示形式与所请求的目标相匹配时，可见推理会更有效，例如“用 SQL 思考”或“用 Python 思考”。再加上诸如“逐步思考”之类的通用指令，这些建议在受控的、基于执行的比较下仍未得到充分评估。我们研究了一个查询匹配的 SQL-pandas 基准，该基准交叉了角色措辞、目标语言、可见 CoT 格式、控制前缀、直接生成和内部推理配置。结果既不支持可见 CoT 具有普遍准确率优势，也不支持将推理表示与目标语言匹配会带来一致收益。相反，这些效应取决于角色、目标、模型配置和内部推理设置。控制消融进一步区分了推理内容的影响与提示格式的影响。这些发现表明，推理策略应针对模型、角色、目标和内部推理配置联合选择，而不是作为通用默认值采用。更广泛地说，该研究提供了一个受控框架，用于识别可见推理何时能改进可执行生成、何时主要扰动模型行为，以及何时内部推理配置是更具决定性的因素。
| 评论： | 26 页，8 幅图，16 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.10639 [cs.LG] |
| （或 arXiv:2610.10639v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10639 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Bhawani Shankar Leelar [查看电子邮件]
[v1]
2026年10月7日星期三 14:27:58 UTC（329 KB）
来源：arXiv cs.AI · arxiv.org