一种基于改进SIFT的视频稳像方法

doi:10.3969/j.issn.1006-2475.2024.06.008

摘要/Abstract

摘要：
摘要：为提高计算效率并保持良好的稳像效果，本文提出一种基于改进SIFT的视频稳像方法。首先对SIFT进行改进，并命名为BO-SIFT（Binarized Octagonal SIFT）。该算法引入了同心八边形环特征描述子，通过降维和二值化对特征向量进行处理，然后使用汉明距离进行特征点匹配，有效缩短了描述和匹配时间。其次将BO-SIFT算法应用于视频稳像，提取视频帧的特征点进行匹配，并计算出帧与帧之间的运动偏移量，以此实现运动估计。最后采用卡尔曼滤波器对估计出的运动偏移量进行平滑处理，并利用仿射变换对视频帧进行逆向补偿，从而得到稳定的图像序列。实验结果表明：相较于原始的SIFT算法，BO-SIFT算法使稳像时间减少了56.404%；相较于现有的较好算法，BO-SIFT算法稳像后的视频具有更高的平均峰值信噪比。此外，本文算法在不同视频上进行稳像效果测试，也具有一定的可靠性和优越性。

关键词: 关键词：视频稳像, BO-SIFT算法, 降维, 二值化, 运动估计, 峰值信噪比

Abstract:
Abstract： This paper proposes a video stabilization method based on improved SIFT to improve computational efficiency and maintain a good video stabilization effect. Firstly， SIFT is improved and named BO-SIFT （Binarized Octagonal SIFT）. The algorithm introduces concentric octagonal ring feature descriptors， processes the feature vectors by dimensionality reduction and binarization， and then uses Hamming distance for feature point matching， which effectively reduces the description and matching time. Secondly， the BO-SIFT algorithm is applied to video stabilization， extracting the feature points of the video frames for matching and calculating the motion offsets between frames to achieve motion estimation. Afterwards， the estimated motion offsets are smoothed using a Kalman filter and the video frames are inversely compensated using affine transformation to obtain a stabilized image sequence. The experimental results show that the BO-SIFT algorithm reduces the stabilization time by 56.404% compared to the original SIFT algorithm， and the stabilized video of the BO-SIFT algorithm has a higher average peak signal-to-noise ratio compared to the existing better algorithms. In addition， the algorithm in this paper is tested on different videos for video stabilization effects， which also has certain reliability and superiority.

Key words: Key words： video stabilization, BO-SIFT algorithm, dimensionality reduction, binarization, motion estimation, peak signal-to-noise ratio

中图分类号:

TP391.4

李欣, 焦立男, 柳有权, 马彩莎. 一种基于改进SIFT的视频稳像方法[J]. 计算机与现代化, 2024, 0(06): 43-50.

LI Xin, JIAO Linan, LIU Youquan, MA Caisha. A Video Stabilization Method Based on Improved SIFT[J]. Computer and Modernization, 2024, 0(06): 43-50.

参考文献

［1］戴雪龙. 电子稳像技术研究［D］. 广州：广东工业大学， 2018.
［2］赖丽君. 电子稳像技术研究［D］. 成都：中国科学院研究生院（光电技术研究所）， 2016.
［3］刘玉清. 机载旋转视频稳像及去模糊处理技术研究［D］. 北京：中国科学院大学（中国科学院国家空间科学中心）， 2021.
［4］ SHI L， HE H. A review and comparison on video stabilization alorithms［C］// 2022 5th World Conference on Mechanical Engineering and Intelligent Manufacturing （WCM
EIM）. IEEE， 2022：1093-1097.
［5］ BALACHANDRAN G， KRISHNAN J V G. A review of video stabilization algorithms［C］// 2022 International Conference on Augmented Intelligence and Sustainable Systems （ICAISS）. IEEE， 2022：643-648.
［6］钟平. 机载电子稳像技术研究［D］. 长春：中国科学院研究生院（长春光学精密机械与物理研究所）， 2004.
［7］ CHEN C C. An optical image stabilization using novel ultrasonic linear motor and fuzzy sliding-mode controller for portable digital camcorders［J］. IEEE Transactions on Consumer Electronics， 2017，63（4）：343-349.
［8］ LEE S K， KONG J H. An implementation of closed-loop optical image stabilization system for mobile camera［C］// 2014 IEEE International Conference on Consumer Electronics （ICCE）. IEEE， 2014：45-46.
［9］ QIU X W， LIANG H W， WANG J， et al. Research on multi-depth-of-field electronic image stabilization algorithm for in-vehicle videos［C］// 2022 5th International Conference on Robotics， Control and Automation Engineering （RCAE）. IEEE， 2022：292-297.
［10］ SOTNIKOV A V， SHIPATOV A V， MYO A K， et al. Algorithm for stabilizing video images［C］// 2020 Wave Electronics and Its Application in Information and Telecommunication Systems （WECONF）. IEEE， 2020. DOI: 10.1109/WECONF48837. 2020.9131516.
［11］ AHMED M. Digital video stabilization-review with a perspective of real time implemention［C］// 2017 International Conference on Recent Innovations in Signal Processing and Embedded Systems （RISE）. IEEE， 2017：296-303.
［12］王施鳗，许文海，董丽丽，等. 基于改进的Harris角点的机载红外图像电子稳像［J］. 红外技术， 2020，42（6）：573-579.
［13］ UMRIKAR D P， TADE S L. Implementation of video stabilization algorithm using block based method［C］// 2017 International Conference on Computing， Communication， Control and Automation （ICCUBEA）. IEEE， 2017. DOI: 10.1109/ICCUBEA. 2017.8463721.
［14］ TIAN S. Grayscale projection image stabilization algorithm based on gray bit-plane for moving object［C］// 2018 8th International Conference on Instrumentation & Measurement， Computer， Communication and Control（IMCCC）. IEEE， 2018：610-613.
［15］郭宝龙，朱娟娟，孙伟. 电子稳像的分层位平面全局运动估计算法［J］. 光子学报， 2009，38（11）：2993-2998.
［16］ BRAHAMADEVARA N K， KUMAR G A E S， PALUSA P G， et al. Utilizing the point feature matching for video stabilization［C］// 2023 IEEE 8th International Conference for Convergence in Technology （I2CT）. IEEE， 2023. DOI: 10.1109/I2CT57861. 2023.10126471.
［17］崔少辉，谢征，王刚，等. 二进制鲁棒不变尺度特征匹配电子稳像［J］. 光学精密工程， 2015，23（9）：2715-2723.
［18］吉淑娇，朱明，胡汉平. 基于特征点匹配的电子稳像技术［J］. 中国光学， 2013，6（6）：841-849.
［19］ BANSAL P， DINESH J B， VR S K， et al. Video stabilization using ORB detector［C］// 2022 14th International Conference on Computer and Automation Engineering （ICCAE）. IEEE， 2022：50-55.
［20］ MIKOLAJCZYK K， SCHMID C. A performance evaluation of local descriptors［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2005，27（10）：1615-1630.
［21］谭光兴，张伦. 基于改进SIFT的图像特征匹配算法［J］. 广西科技大学学报， 2022，33（2）：41-47.
［22］魏闪闪，谢巍，贺志强. 数字视频稳像技术综述［J］. 计算机研究与发展， 2017，54（9）：2044-2058.
［23］王钎沣，夏国静，牛鑫鑫，等. 基于改进的SIFT图像快速拼接方法［J］. 现代电子技术， 2022，45（8）：159-162.
［24］ E SOUZA M R， DA FONSECA L F R， PEDRINI H. Improvement of global motion estimation in two‐dimensional digital video stabilisation methods［J］. IET Image Processing， 2018，12（12）：2204-2211.
［25］ YOUSAF A， KHURSHID K， KHAN M J， et al. Real time video stabilization methods in IR domain for UAVs A review［C］// 2017 5th International Conference on Aerospace Science & Engineering （ICASE）. IEEE， 2017. DOI： 10.1109/ICASE. 2017.8374287.
［26］ GUILLUY W， BEGHDADI A， OUDRE L. A performance evaluation framework for video stabilization methods［C］// 2018 7th European Workshop on Visual Information Processing （EUVIP）. IEEE， 2018. DOI: 10.1109/EUVIP. 2018.8611729.
［27］任晶秋，武小凯. 改进SIFT的图像匹配算法［J］. 吉林大学学报（信息科学版）， 2022，40（4）：672-676.
［28］程俊廷，张俊峰，胡瑾. 图像特征匹配环境下SIFT算法的改进［J］. 黑龙江科技大学学报， 2020，30（4）：433-436.
［29］ WANG M， YANG G Y， LIN J K， et al. Deep online video stabilization with multi-grid warping transformation learning［J］. IEEE Transactions on Image Processing， 2018，28（5）：2283-2292.

[1]	杨骏1, 胡为1, 朱文福2. 基于改进MobileNetV3的视觉SLAM回环检测算法[J]. 计算机与现代化, 2024, 0(10): 21-26.
[2]	刘锟, 曾曦, 邱梓珩, 陈周国, . 基于RoBERTa-WWM 和HDBSCAN的文本聚类算法[J]. 计算机与现代化, 2022, 0(03): 48-52.
[3]	徐惠, 铁治欣, 舒莹. 基于特征匹配的快速降维排序搜索方法[J]. 计算机与现代化, 2022, 0(02): 85-91.
[4]	黄欣辰, 皋军, 黄豪杰. 基于PCA降维的成对约束半监督聚类集成[J]. 计算机与现代化, 2021, 0(01): 94-99.
[5]	周芳宇, 陈淑荣. 一种特征增强的Tri-CNN行人再识别方法[J]. 计算机与现代化, 2020, 0(09): 60-65.
[6]	张迪1，黄倩1，陈斯斯2. 基于运动矢量投影的帧率转换算法[J]. 计算机与现代化, 2019, 0(05): 80-.
[7]	王岩1，朱娟1，2，王连明1，黄继鹏1. 基于时空域相关预测的步长自适应运动估计算法[J]. 计算机与现代化, 2019, 0(04): 25-.
[8]	刘威，王军民，刘克勤. 基于边缘匹配的纵向碎纸拼接方法[J]. 计算机与现代化, 2019, 0(02): 55-.
[9]	朱小涛1，王晓琦2，杜小丹3，黄倩1. 基于场景切变检测的视频去隔行方法[J]. 计算机与现代化, 2017, 0(8): 51-.
[10]	黄建理,杜金燃,谢家全,秦科. 一种基于改进KNN的大数据离群点检测算法[J]. 计算机与现代化, 2017, 0(5): 67-70,75.
[11]	郭琳，翟社平，高山. 知识图谱中的语义推理算法[J]. 计算机与现代化, 2017, 0(12): 71-76.
[12]	胡晨1，江泽涛2. 一种SIFT像素点筛选预处理降维双向匹配方法[J]. 计算机与现代化, 2016, 0(9): 54-59+72.
[13]	刘会河，徐维超，刘舜. 基于SVM的降维方法在三类ROC分析中的应用[J]. 计算机与现代化, 2016, 251(07): 49-54.
[14]	郭海凤1，2，陈月霞1，孙周宝2. 改进的ISOMAP算法在人脸识别中的应用[J]. 计算机与现代化, 2015, 0(9): 25-29.
[15]	苏锦旗，张文宇. 基于模糊聚类的改进LLE算法[J]. 计算机与现代化, 2014, 0(5): 10-13.