arXiv cs.AI· Pierre-Luc St-Charles, Alessandro Palmas, Damiano Fornasiere, Storm Lei, Mirko Bronzi, Jean-Pierre Falet, Iulian Serban, Yoshua Bengio·· 3 天前AI 评分31
PyINE：基于代码执行的可扩展引导与监督框架
PyINE: A Framework for Scalable Elicitation and Oversight via Code Execution
AI 导读
研究者提出 PyINE 框架，用带插桩的 Python 程序作为可验证执行基底，实现可扩展的引导与监督。首个版本 PyINE-v1 基于近 100 万条确定性执行轨迹和超 50 万个匹配的 LLM 生成代码变体构建，并训练出一个捷径跟随模型。评估显示，数据集层面的汇总性能会掩盖关键失败模式的覆盖不足：低成本学习型监督器常漏掉罕见的捷径错误，而更强的模型检查更均衡但成本显著更高。
正文 · AI 翻译
摘要：推理模型可能仍然有能力解决某项任务，却默认采用更廉价但具有误导性的捷径。这造成了一个核心的监督问题：当模型给出一个看似合理但推理不完整的答案时，监督者能否判断该输出是否应当被信任？为研究这一问题，我们提出了 PyINE，一个利用插桩 Python 程序作为可验证执行基底的、可扩展的诱导与监督框架。在 PyINE 中，程序定义任务环境，执行轨迹为结果和中间事实提供权威标签，任务变体可以机械地生成，而无需静态的人工标注。我们在 PyINE-v1 中实例化了该框架，这是首个发布版本，由近一百万条确定性执行轨迹和超过 500,000 个用于反事实评估的匹配 LLM 生成代码变体构建而成。在带有线索变化的任务上使用带有可验证奖励的标准 RL，我们训练了一个遵循捷径的模型，该模型在预测执行结果方面有显著提升，但当具有误导性的人类面向线索与程序的实际行为相冲突时，仍会犯系统性错误。随后，我们评估了激活探针、训练过的文本分类器、提示式评判器以及一种轻量级辩论协议作为该模型的监督者。我们发现，在数据集层面汇总的性能可能掩盖对最关键失败的薄弱覆盖：廉价的学习型监督者常常漏掉罕见的捷径驱动错误，而更强的基于模型的检查更为均衡，但成本高得多，且更难转化为可靠的阈值化决策。PyINE-v1 将这一失败模式覆盖问题转化为一个可复用的实验环境，用于开发可验证、感知失败模式且对成本敏感的监督方法。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.04737 [cs.AI] |
| （或 arXiv:2610.04737v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.04737 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Pierre-Luc St-Charles [查看电子邮件]
[v1]
2026年10月3日星期六 20:03:43 UTC（1,493 KB）
[v2]
2026年10月10日星期六 00:29:25 UTC（1,489 KB）
来源：arXiv cs.AI · arxiv.org