arXiv cs.AI· Eun Go, Rohan Deb, Arindam Banerjee·· 2 天前AI 评分26
FinPILOT：面向 RL 交易智能体的推理时策略优化框架
Plan Before You Trade: Inference-Time Optimization for RL Trading Agents
AI 导读
FinPILOT 是一个受 MPC 启发的插件式推理时策略优化框架，利用多步价格预测器在每步决策前优化预训练策略，无需改动原始 RL 训练流程。在 DJ30 股票与外汇数据上，用 PPO、SAC、A2C、TD3、DDPG 五种预训练策略测试 30 种设置，28 种提升总回报、27 种提升 Sharpe 比率。预测误差越小，FinPILOT 的性能提升幅度与一致性越高。
正文 · AI 翻译
摘要：用于投资组合管理的强化学习智能体通常以静态策略进行训练和部署，在推理时没有利用价格预测进行策略调整的机制。我们提出 FinPILOT（Financial Plugin Inference-time Learning for Optimal Trading，面向最优交易的金融插件式推理时学习），这是一个受模型预测控制（MPC）启发的插件式推理时策略优化框架。在价格接受者假设下，投资组合动作不会影响未来市场价格，因此多步价格预测器可以提供想象的市场轨迹，而无需进行迭代的动作条件推演。在每个决策步骤，FinPILOT 使用预测器预测的价格轨迹构建基于配置的想象收益目标，并在推理时对预训练策略进行优化，然后执行一步交易。我们的框架与任何预训练策略兼容，并利用预测器的预测来调整策略，而无需修改原始强化学习训练流程。在 DJ30 股票和外汇（FX）上，使用五种预训练策略（PPO、SAC、A2C、TD3、DDPG）在三个滚动留出测试年份中进行评估（共 30 种设置），FinPILOT 在 30 种设置中的 28 种提高了总回报，在 30 种中的 27 种提高了夏普比率，收益涵盖随机策略和确定性策略。在相同预测下提供的直接单期和多期投资组合优化器在我们的评估协议下未能复现这些总体收益。此外，使用经过校准质量水平的受控预测，我们表明随着预测误差的降低，FinPILOT 性能的幅度和一致性均有所提高。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2605.12653 [cs.LG] |
| （或使用 arXiv:2605.12653v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.12653 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Eun Go [查看电子邮件]
[v1]
2026年5月12日星期二 18:58:03 UTC（199 KB）
[v2]
2026年10月15日星期四 05:36:39 UTC（600 KB）
来源：arXiv cs.AI · arxiv.org