arXiv cs.CL· Ziming Dai, Dabiao Ma, Ziheng Guo, Jack Dong, Zimu Zhou·· 9 天前AI 评分22
LLM-BlockFE：LLM 引导的分块特征工程，通过可执行程序搜索将长文本转为预测特征
Long Text to Predictive Features: LLM-Guided Blockwise Feature Engineering via Executable Program Search
AI 导读
研究者提出 LLM-BlockFE，一个 LLM 引导的离线特征构建框架，将长文本转为可执行特征程序，从而避免在线推理时调用 LLM。该方法通过增量追加不可变代码块构建特征程序，并引入基于深度校准信用分配的块级回滚机制、交错推进多条独立搜索轨迹。
正文 · AI 翻译
摘要：工业风控系统通常依赖结构化数据模型进行高效预测，但大量有价值的信息仍嵌入在非结构化长文本中。通过人工特征工程提取这些信息劳动强度大，而要求大语言模型（LLM）处理每一个实时输入可能无法满足实际部署需求。为应对这一挑战，我们提出 LLM-BlockFE，一个由 LLM 引导的离线特征构建框架，将长文本转换为可执行的特征程序，从而避免在线推理时调用 LLM。LLM-BlockFE 通过增量追加不可变代码块来构建特征程序，并使用下游模型评估候选特征。针对传统贪心搜索容易陷入次优解的问题，我们的方法引入了基于深度校准信用分配的块级回滚机制，并以交错方式推进多条独立搜索轨迹，通过共享每条轨迹探索方向的固定描述来减少冗余探索。搜索完成后，所得程序被冻结并部署，用于为下游预测模型提取结构化特征。在两个公开数据集和两个私有数据集上，在全数据集对比中，LLM-BlockFE 在每个数据集上相较最强基线取得了 0.0069 至 0.0358 的绝对 AUC 提升。对五个已部署金融风控应用的上线后监测显示，相较现有手工设计策略，绝对 KS 提升了 0.02 至 1.56 个百分点。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12390 [cs.LG] |
| （或 arXiv:2610.12390v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12390 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Ziming Dai [查看邮箱]
[v1]
2026年10月8日星期四 17:39:11 UTC（794 KB）
来源：arXiv cs.CL · arxiv.org