arXiv cs.CL· Mingmeng Geng, Amr Mohamed, Guokan Shang, Michalis Vazirgiannis, Thierry Poibeau·· 12 小时前AI 评分31
LLM 迭代推理中的马尔可夫生成链研究
Markovian Generation Chains in Large Language Models
AI 导读
研究将 LLM 反复处理文本的迭代推理过程定义为马尔可夫生成链，每步仅以特定提示词模板和上一步输出为输入。在迭代改写与往返翻译实验中，输出要么收敛到小型循环集合，要么在有限范围内持续生成新句子。句子级马尔可夫链建模显示，该过程会依温度和初始句子等因素增加或降低多样性。
正文 · AI 翻译
摘要：大语言模型（LLM）的广泛使用引出一个重要问题：当文本被 LLM 反复处理时，它们会如何演变？在本文中，我们将这一迭代推理过程定义为马尔可夫生成链，其中每一步都以特定的提示模板和上一步的输出作为输入，不包含任何先前数据。在迭代改写和往返翻译实验中，输出要么收敛到一个小的循环集合，要么在有限范围内持续产生新句子。通过句子级马尔可夫链建模和对模拟数据的分析，我们表明迭代过程可能增加或降低多样性，这取决于温度参数和初始输入句子等因素。这些结果为迭代式 LLM 推理的动态特性及其对多智能体 LLM 系统的影响提供了有价值的见解。
| 评论： | EMNLP 2026 Findings |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2603.11228 [cs.CL] |
| （或 arXiv:2603.11228v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.11228 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Mingmeng Geng [查看邮箱]
[v1]
2026年3月11日 星期三 18:54:17 UTC（421 KB）
[v2]
2026年10月22日 星期四 14:30:26 UTC（788 KB）
来源：arXiv cs.CL · arxiv.org