arXiv cs.AI· Oguzhan Gungordu, Ayse Tursucular, Siheng Xiong, Faramarz Fekri·· 3 天前AI 评分22
EPOCH：面向 LLM 自动启发式设计的覆盖感知进化与经验偏好优化
EPOCH: Coverage-Aware Evolution with Experiential Preference Optimization for LLM-based Automated Heuristic Design
AI 导读
EPOCH 将实例覆盖作为进化搜索目标，并通过经验偏好优化让生成器内化反思，用于 LLM 自动启发式设计。它让父代选择、算子分配与停滞恢复都围绕启发式对训练实例的联合覆盖优化，从而返回互补的启发式集成；教师 LLM 提供自然语言洞见，改进结果进入 DPO 偏好对，并以反思式自蒸馏（RSD）项提升自主生成概率。
正文 · AI 翻译
摘要：基于 LLM 的自动启发式设计（AHD）为组合优化问题（COP）发现启发式方法，其中 LLM 在进化搜索中生成候选方案。现有框架冻结生成器，或基于标量适应度信号对其进行微调，而该信号掩盖了每个启发式方法覆盖了哪些实例。基于反思的框架通过自然语言反馈改进启发式方法，但反馈仅停留在提示词中，从未进入生成器的权重。我们提出 EPOCH，将实例覆盖作为进化搜索的目标，并微调生成器以内化反思。父代选择、算子分配和停滞恢复都优化启发式方法对训练实例的联合覆盖程度，因此搜索返回一个互补的启发式集成。生成器通过经验偏好优化从自身搜索中学习。教师 LLM 对生成的启发式方法返回自然语言洞见，生成器据此洞见生成新的启发式方法。这些改进加入偏好对，用于直接偏好优化（DPO）。由于 DPO 仅教会生成器对这些改进进行排序，一个反思自蒸馏（RSD）项使其更有可能自行生成这些改进，且收益在搜索的长期过程中不断累积。在多种 COP 和开源 LLM 主干上，EPOCH 的启发式集成优于仅推理和微调的基线，并能跨问题规模泛化。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.17379 [cs.AI] |
| （或 arXiv:2610.17379v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17379 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Oguzhan Gungordu [查看电子邮件]
[v1]
2026年10月12日星期一 20:36:19 UTC（821 KB）
来源：arXiv cs.AI · arxiv.org