arXiv cs.AI· Xihe Qiu (Shanghai University of Engineering Science, National University of Singapore), Yongxin Deng (Shanghai University of Engineering Science, University of Technology Sydney), Xiaoyu Tan (National University of Singapore), Zhen Fang (University of Technology Sydney), Ling Chen (University of Technology Sydney)·· 9 天前AI 评分24
Thought-Like-Pro：用自举式 Prolog 思维链提升大语言模型推理能力
Thought-Like-Pro: Enhancing Reasoning of Large Language Models through Self-Bootstrapped Prolog-based Chain-of-Thought
AI 导读
Thought-Like-Pro 是一个通过模仿学习提升大语言模型推理能力的学习框架，它让模型从指令中自行生成规则与语句，交由符号化 Prolog 逻辑引擎推导，再将 Prolog 生成的连续推理轨迹翻译为自然语言思维链用于模仿学习。
正文 · AI 翻译
作者：Xihe Qiu（1 和 2），Yongxin Deng（1 和 3），Xiaoyu Tan（2），Zhen Fang（3），Ling Chen（3）（（1）上海工程技术大学，（2）新加坡国立大学，（3）悉尼科技大学）
摘要：大型语言模型作为通用助手已展现出卓越能力，在广泛的推理任务中表现出色，并支持日常网络使用的各个方面。这一成就代表着朝着实现通用人工智能迈出的重要一步。尽管取得了这些进展，大型语言模型的有效性往往取决于所采用的具体提示策略，并且仍然缺乏一个稳健的框架来促进跨多样推理任务的学习与泛化。为应对这些挑战，我们引入了一个新颖的学习框架 Thought-Like-Pro。在该框架中，我们利用模仿学习来模仿思维链过程，该过程经过验证，并由符号 Prolog 逻辑引擎生成的推理轨迹翻译而来。该框架以提示引导但自举的方式推进，使大型语言模型能够根据给定指令制定规则和陈述，并利用符号 Prolog 引擎推导结果。随后，大型语言模型将 Prolog 推导出的连续推理轨迹转换为自然语言思维链，用于模仿学习。实证结果表明，我们提出的方法极大地提升了大型语言模型的推理能力。通过采用模型平均技术，我们的方法在分布外推任务中仅表现出轻微的性能下降，展现出稳健的泛化能力。我们提出了一种将符号推理与语言建模相结合的技术方法，有望支持大型语言模型作为受认知启发的系统的发展。我们使用的部分数据集已开源。
| 评论： | 15 页，包括附录。已被 IEEE Transactions on Cognitive and Developmental Systems (TCDS) 接受发表。 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| MSC 分类： | 68T50（主），68T27，68T05（次） |
| ACM 分类： | I.2.7；I.2.3；I.2.6 |
| 引用为： | arXiv:2407.14562 [cs.AI] |
| （或 arXiv:2407.14562v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2407.14562 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Yongxin Deng [查看电子邮件]
[v1]
2024 年 7 月 18 日星期四 18:52:10 UTC（277 KB）
[v2]
2024 年 8 月 10 日星期六 06:54:20 UTC（277 KB）
[v3]
2026 年 10 月 8 日星期四 07:25:49 UTC（285 KB）
来源：arXiv cs.AI · arxiv.org