跳到正文
arXiv cs.AI· Augusta van Haren, Hanna Hoogen, Luca Pattavina, Quincy Rommen·· 3 天前AI 评分12

ST-GRU PredRNN-V2:用 GRU 重构 PredRNN-V2 的视频预测模型

ST-GRU PredRNN-V2: A GRU-Based Reformulation of PredRNN-V2 for Video Prediction

AI 导读

研究者提出 ST-GRU 单元,以 GRU 风格的两个门(更新门与重置门)替代 ST-LSTM 每个记忆状态的三个门,并将时间记忆状态并入隐藏状态,参数量减少约 5%。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:视频预测要求模型捕捉复杂的时空依赖关系,并在长序列中保留相关信息。PredRNN 及其后继者 PredRNN-V2 通过时空长短期记忆(ST-LSTM)单元来应对这一挑战,这些单元维护两个独立的记忆状态,代价是循环构建块相对复杂。在本工作中,我们研究是否可以将门控循环单元(GRU)更简单的门控机制迁移到时空预测学习中。为此,我们开发了一个时空 GRU(ST-GRU)单元,作为基于 GRU 的 ST-LSTM 替代方案。ST-GRU 将 ST-LSTM 每个记忆状态的三个门替换为两个 GRU 风格的门(更新门和重置门),并将时间记忆状态合并到隐藏状态中,从而将参数量减少约 5%。我们将 ST-GRU 集成到 PredRNN-V2 中,并按照原始实验协议在 Moving MNIST 视频预测基准上评估所得模型。在十个预测帧上取平均,基于 ST-GRU 的 PredRNN-V2 实现了 55.1 的 MSE、0.883 的 SSIM、0.065 的 LPIPS 和 19.53dB 的 PSNR。它在 MSE、SSIM 或 PSNR 上并未超越原始的基于 ST-LSTM 的 PredRNN-V2,但实现了更低的 LPIPS,并与早期基于 ST-LSTM 的 PredRNN 表现相当,同时使用了更简单的循环单元。这些结果表明,ST-GRU 是时空预测学习中有前景的构建块,并激励对其设计和集成开展进一步工作。
学科: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2610.18645 [cs.CV]
  (或 arXiv:2610.18645v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.18645

arXiv 颁发的 DOI 经由 DataCite(待注册)

提交历史

来自:Hanna Hoogen [查看电子邮件]
[v1] 2026年10月13日星期二 16:11:56 UTC(1,073 KB)

来源:arXiv cs.AI · arxiv.org