基于反向残差注意力的光流估计

doi:10.3969/j.issn.1006-2475.2024.02.010

计算机与现代化 ›› 2024, Vol. 0 ›› Issue (02): 64-68.doi: 10.3969/j.issn.1006-2475.2024.02.010

基于反向残差注意力的光流估计

（1.广东工业大学计算机学院，广东广州 510006； 2.贵州大学省部共建公共大数据国家重点实验室，贵州贵阳 550025）

出版日期:2024-02-19 发布日期:2024-03-19
作者简介: 作者简介：梁建业（1996—），男，广东肇庆人，硕士研究生，研究方向:计算机视觉，光流估计，E-mail: 2112005183@mail2.gdut.edu.cn；通信作者:陈俊洪（1995—），男，博士研究生，研究方向:机器人，计算机视觉，E-mail: CSChenjunhong@hotmail.com；方桂标（1996—），男，硕士研究生，研究方向:机器人，计算机视觉，E-mail: 2112005040@mail2.gdut.edu.cn。
基金资助:
国家自然科学基金资助项目（91748107， 62076073， 61902077）；广东省引进创新科研团队计划项目（2014ZT05G157）；
广东省基础与应用基础研究基金资助项目（2020A1515010616）；广东省科技创新战略专项资金资助项目（pdjh2020a0173）

Optical Flow Estimation Based on Inverse Residual Attention

（1. School of Computer Science， Guangdong University of Technology， Guangzhou 510006， China；
2. State Key Laboratory of Public Big Data， Guizhou University， Guiyang 550025， China）

Online:2024-02-19 Published:2024-03-19

摘要/Abstract

摘要：
摘要：光流估计是视频理解和分析的一项基本任务。现有的许多方法直接将遮挡作为异常点剔除，从而提高模型计算光流的能力，但这也容易引起图像灰度不连续，导致光流估计失败。此外，物体高速运动造成的大位移问题一直是光流估计的难点。为了解决上述问题，本文提出一种用于光流估计的基于反向残差注意力的生成对抗学习框架（FlowTranGAN， FTGAN）。该框架通过设计一个反向残差注意力模块增强特征的空间信息，提高像素之间的匹配程度；并且利用基于U-Net的鉴别器来约束生成器，减少光流估计的误差和不连续性，提高模型的泛化能力。通过在KITTI-2015数据集和MPI-Sintel数据集上进行的实验，实验结果表明本文所提出FTGAN的有效性和优越性。

关键词: 关键词：光流估计, 反向残差注意力, 生成对抗学习, 有监督学习

Abstract: Abstract: Optical flow estimation is a basic task of video understanding and analysis. Many existing methods directly take occlusion as the outer point and eliminate it， so as to improve the ability of the model to calculate the optical flow， but it is also easy to cause the image gray discontinuity， leading to the failure of optical flow estimation. In addition， the problem of large displacement caused by high speed motion of objects has always been a difficulty in optical flow estimation. In order to solve the above problems， this paper proposes a generative adversarial learning framework based on reverse residual attention （FlowTranGAN， FTGAN） for optical flow estimation. The proposed framework enhances the spatial information of features by designing a reverse residual attention module to improve the matching degree between pixels. Besides， we use a discriminator based on U-Net to constrain the generator to reduce the error and discontinuity of optical flow estimation， and improve the generalization ability of the model. Experiment results on the KITTI-2015 dataset and MPI-Sintel dataset demonstrate the effectiveness and superiority of the proposed FTGAN.

Key words: Key words: optical flow estimation, reverse residual attention, generative adversarial learning, supervised learning

中图分类号:

TP391.41

. 基于反向残差注意力的光流估计[J]. 计算机与现代化, 2024, 0(02): 64-68.

LIANG Jian-ye1, CHEN Jun-hong1, FANG Gui-biao1, WU Xing-cai2, LIU Wen-yin1. Optical Flow Estimation Based on Inverse Residual Attention[J]. Computer and Modernization, 2024, 0(02): 64-68.

参考文献

［1］ VIHLMAN M， VISALA A. Optical flow in deep visual tracking［C］// Proceedings of the 2020 AAAI Conference on Artificial Intelligence. 2020，34（7）:12112-12119.
［2］ XU R， LI X X， ZHOU B L， et al. Deep flow-guided video inpainting［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2019:3718-3727.
［3］ BUTLER D J， WULFF J， STANLEY G B， et al. A naturalistic open source movie for optical flow evaluation［C］// Computer Vision – ECCV 2012. 2012:611-625.
［4］ HORN B K P， SCHUNCK B G. Determining optical flow［J］. Artificial Intelligence， 1981，17（1-3）:185-203.
［5］ CHEN Q F， KOLTUN V. Full flow: Optical flow estimation by global optimization over regular grids［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2016:4706-4714.
［6］ ZACH， POCK， BISCHOF. A duality based approach for realtime TV-L 1 optical flow［C］// Pattern Recognition. 2007:214-223.
［7］ TEED Z， DENG J. RAFT: Recurrent all-pairs field transforms for optical flow［C］// Computer Vision-ECCV 2020. 2020:402-419.
［8］ SUI X C， LI S H， GENG X， et al. CRAFT: Cross-attentional flow transformer for robust optical flow［C］// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2022:17581-17590.
［9］ PARK N， KIM S. How do vision transformers work?［J］. arXiv preprint arXiv:2202.06709， 2022.
［10］ CHO K Y H Y， VAN M B， GULCEHRE C， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation［J］. arXiv preprint arXiv:1406.1078， 2014.
［11］ SCHÖNFELD E， SCHIELE B， KHOREVA A. A U-Net based discriminator for generative adversarial networks［C］// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2020:8204-8213.
［12］ MAYER N， ILG E， HAUSSER P， et al. A large dataset to train convolutional networks for disparity， optical flow， and scene flow estimation［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2016:4040-4048.
［13］ KONDERMANN D， NAIR R， HONAUER K， et al. The HCI benchmark suite: Stereo and flow ground truth with uncertainties for urban autonomous driving［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 2016:19-28.

［14］ MENZE M， GEIGER A. Object scene flow for autonomous vehicles［C］// 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2015:3061-3070.
［15］ DOSOVITSKIY A， FISCHER P， ILG E， et al. FlowNet: Learning optical flow with convolutional networks［C］// 2015 IEEE International Conference on Computer Vision （ICCV）. 2015:2758-2766.
［16］ RANJAN A， BLACK M J. Optical flow estimation using a spatial pyramid network［C］// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2017:2720-2729.
［17］ JIANG S H， CAMPBELL D， LU Y， et al. Learning to estimate hidden motions with global motion aggregation［C］// 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. 2021:9752-9761.
［18］ ILG E， MAYER N， SAIKIA T， et al. FlowNet 2.0: Evolution of optical flow estimation with deep networks［C］// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2017:1647-1655.
［19］ SUN D Q， YANG X D， LIU M Y， et al. PWC-Net: CNNs for optical flow using pyramid， warping， and cost volume［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018:8934-8943.
［20］ HUI T W， TANG X， LOY C C. LiteFlowNet: A lightweight convolutional neural network for optical flow estimation［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018:8981-8989.
［21］ YIN Z C， DARRELL T， YU F S. Hierarchical discrete distribution decomposition for match density estimation［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2019:6037-6046.
［22］ HUI T W， TANG X， LOY C C. A lightweight optical flow CNN—Revisiting data fidelity and regularization［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021，43（8）:2555-2569.
［23］ YANG G S， RAMANAN D. Volumetric correspondence networks for optical flow［J］. Advances in neural information processing systems， 2019:1-15.
［24］ ZHAO S Y， SHENG Y L， DONG Y， et al. MaskFlownet: Asymmetric feature matching with learnable occlusion mask［C］// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2020:6277-6286.
［25］ ZHANG F H， WOODFORD O J， PRISACARIU V， et al. Separable flow: Learning motion cost volumes for optical flow estimation［C］// 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. 2021:10787-10797.
［26］ SUN D Q， YANG X D， LIU M Y， et al. Models matter， so does training: An empirical study of CNNs for optical flow estimation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020，42（6）:1408-1423.
［27］ ZENG Y H， FU J L， CHAO H Y， et al. Learning pyramid-context encoder network for high-quality image inpainting［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2019:1486-1494.

[1]	陈凯1, 李宜汀1, 2, 全华凤1 . 基于改进YOLOv8的河道废弃瓶检测方法[J]. 计算机与现代化, 2024, 0(11): 113-120.
[2]	程亚子1, 雷亮1, 2, 陈瀚1, 赵毅然1. 基于转置注意力的多尺度深度融合单目深度估计[J]. 计算机与现代化, 2024, 0(09): 121-126.
[3]	来坤. 字符模糊的中文纸质发票文字识别方法[J]. 计算机与现代化, 2024, 0(08): 114-119.
[4]	武丽1, 张征浩2, 葛彩成2, 俞俊2. 基于改进SCNN网络的车道线检测算法[J]. 计算机与现代化, 2024, 0(07): 87-92.
[5]	朱纷, 何立风, 孙爽, 张梦颖, 于佳佳. 基于形变残差和级联编码的胰腺分割模型[J]. 计算机与现代化, 2024, 0(06): 83-88.
[6]	乔佳, 徐琨, 胡佩蓉. 多尺度特征融合的版面分析方法[J]. 计算机与现代化, 2024, 0(05): 16-21.
[7]	徐成1, 张芸2, 曾祥进1. 胎盘超声图像分割[J]. 计算机与现代化, 2024, 0(05): 115-119.
[8]	付鸿林, 张太红, 杨雅婷, 艾孜麦提·艾瓦尼尔, 马博. 基于生成对抗网络的维语场景文字修改网络[J]. 计算机与现代化, 2024, 0(01): 41-46.
[9]	李颖颖, 黄文培. 基于优化八叉树的场景视锥体裁剪算法[J]. 计算机与现代化, 2024, 0(01): 103-108.
[10]	罗伟, 刘思远, 徐健祥, 董天培. 基于改进YOLOv5s的太阳能电池缺陷检测算法[J]. 计算机与现代化, 2023, 0(07): 119-126.
[11]	李运川, 王晓红, 陈思吉, 葛义攀, 李闯. 基于多核并行和动态阈值的点云配准算法[J]. 计算机与现代化, 2020, 0(09): 77-82.
[12]	白士磊, 殷柯欣, 朱建启. 轻量级YOLOv3的交通标志检测算法[J]. 计算机与现代化, 2020, 0(09): 83-88.
[13]	周幸, 陈立福. 基于双注意力机制的遥感图像目标检测[J]. 计算机与现代化, 2020, 0(08): 1-7.
[14]	买尔孜燕古丽·阿不都拉，冯向萍. 基于机器视觉的非接触式马体尺测量方法[J]. 计算机与现代化, 2019, 0(10): 108-.
[15]	李瀚1,胡明晓2,龚志红3,樊竝君3. 面向矢量瓦片的海量空间数据并行处理技术[J]. 计算机与现代化, 2018, 0(09): 32-.

基于反向残差注意力的光流估计

Optical Flow Estimation Based on Inverse Residual Attention

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价