arXiv cs.AI· Emanuele Rimoldi, Riccardo Neumarker, Tomaso Poggio, Daniel Mitropolsky·· 14 小时前AI 评分38
图灵测试的隐藏信号：以不可区分性作为奖励训练模型
Uncovering the Turing Test's Latent Signal: Indistinguishability as a Reward
AI 导读
研究提出基于领域的 teacher-Turing-Test：以 DeepSeek V4 Flash 为教师兼判别器，用其将回答归因于学生自身的概率作为强化学习奖励，训练 Qwen2.5-1.5B 学生模型，全程不提供标准答案。
正文 · AI 翻译
摘要：一个模型能否通过试图欺骗另一个模型来学习？我们证明它可以。受图灵测试及其近期向任意区分器的推广的启发，我们提出了一种基于领域的教师图灵测试：其中更强的教师模型既作为模仿目标，又作为区分器，而较弱的学生模型则被训练为使教师将回答归因于自身。我们将这种自我归因（或欺骗）概率用作强化学习奖励，既不为学生提供真实答案，也不要求教师生成回答。我们在四个具有可验证答案的领域中独立测试了我们的方法：CommonsenseQA（推理）、GSM8K（数学）、KodCode（编程）和 Spider（SQL），使用 DeepSeek V4 Flash 作为教师/区分器，训练 Qwen2.5-1.5B 学生/模仿者模型。除了在通过图灵测试方面有所提升外，学生在所有领域和运行中的独立留出评估中均有改善。为了探究为何被误认为教师能够提升能力，我们的分析表明，自我归因与正确性相关——其关联程度远高于格式变化——并且它会奖励部分正确性。我们的结果展示了一种新的、简单的师生训练范式，适用于私有和/或高成本的教师模型。它们还表明，不可区分性未必只是衡量行为——它也可以成为一种学习机制。
| 评论： | 26 页，9 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.34781 [cs.AI] |
| （或 arXiv:2610.34781v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34781 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Emanuele Rimoldi [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 03:27:37 UTC（1,634 KB）
来源：arXiv cs.AI · arxiv.org