MCTS-SFT：面向 Verilog 生成的搜索引导推理轨迹筛选框架

查看 PDF HTML（实验性）

摘要：大语言模型（LLM）的最新进展提升了 Verilog 生成能力。然而，大多数训练流程蒸馏的是自然语言推理轨迹，其中间设计决策结构松散，且主要依据最终生成 RTL 的正确性进行筛选。我们提出 MCTS-SFT，一个由验证器引导的框架，用于为 Verilog 生成模型的监督微调（SFT）筛选推理轨迹。MCTS-SFT 将轨迹构建表述为对中间推理状态的搜索，并使用蒙特卡洛树搜索（MCTS）将完整 Verilog 展开的功能反馈传播到更早的设计决策。在该框架内，我们引入 Plan-MCTS，它在紧凑的硬件设计计划上进行搜索，这些计划显式表示接口、时序、状态、行为和更新规则。我们进一步研究了保留计划的监督方式，即将搜索得到的结构化状态保留为下游 SFT 目标的一部分。实验发现，Plan-MCTS 实现了最高的功能轨迹产出率，正确轨迹占比 84.2%，而一次性结构化规划为 81.9%，无引导树探索为 82.0%。对于相同的 Plan-MCTS 轨迹和 Verilog 输出，在 SFT 期间保留显式搜索计划可将 pass@10 从 52.56% 提升至 57.7%，表明中间设计决策的表示方式会实质性影响下游学习。在一项独立的 6,000 条轨迹研究中，MCTS 筛选的监督相比全响应思维链蒸馏，在 VerilogEval-v2 上将 pass@10 最多提升 3.7 个百分点，同时将下游生成长度减少约 50%。这些结果表明，结构化硬件规划、验证器引导搜索和显式中间状态监督提供了互补机制，可构建更有效、更节省 token 的 Verilog 生成训练数据。

提交历史

来自：Matthew DeLorenzo [查看邮箱]
[v1] 2026年10月26日星期一 18:47:49 UTC（128 KB）