电力巡检场景下的红外与可见光图像配准方法

计算机与现代化 ›› 2021, Vol. 0 ›› Issue (09): 31-36.

电力巡检场景下的红外与可见光图像配准方法

(1.国网常州供电公司,江苏常州213000;2.河海大学物联网工程学院,江苏常州213022;
3.常州中能电力科技有限公司,江苏常州213000)

出版日期:2021-09-14 发布日期:2021-09-14
作者简介:刘晓康(1986—),男,江苏常州人,高级工程师,硕士,研究方向:电气工程,E-mail: 70551313@qq.com; 夏天雷(1990—),男,工程师,硕士,研究方向:电气工程,E-mail: xtlchina@sina.com; 吴晨媛(1991—),女,助理工程师,硕士,研究方向:电气工程,E-mail: 704345213@qq.com; 通信作者:姜雄彪(1999—),男,河北邯郸人,硕士研究生,研究方向:信息获取与处理,E-mail: 694929605@qq.com。
基金资助:
江苏省重点研发项目(BE2020092); 国网常州供电公司项目(SGTYHT/19-JS-218)

Infrared and Visible Images Registration Method for Electric Power Inspection

(1. State Grid Changzhou Power Supply Company, Changzhou 213000, China;
2. College of Internet of Things Engineering, HoHai University, Changzhou 213022, China;
3. Changzhou Zhongneng Power Technology Co. Ltd., Changzhou 213000, China)

Online:2021-09-14 Published:2021-09-14

摘要/Abstract

摘要： 电力设备故障会导致停电事故，影响电网的安全稳定运行。根据电力设备运行时会产生热量的特点，提出一种电力设备的红外与可见光图像配准方法，便于进行异常发热故障检测。首先通过Sobel边缘检测算子提取电力设备的红外与可见光图像的边缘信息，得到边缘图像；然后通过SuperPoint算法检测2幅边缘图像的特征点并计算描述子，利用SuperGlue算法对特征点进行匹配；最后通过最小二乘法计算仿射变换模型参数，实现电力设备的红外与可见光图像配准。实验结果表明本文方法能够对电力设备的红外与可见光图像进行高精度的配准。

关键词: 图像配准, 电力设备, 边缘图像, 深度学习, 神经网络

Abstract: The failure of power equipment may cause power outages and affect the safe and stable operation of power grid. According to the characteristics of heat generated by power equipment during operation, an infrared and visible images registration method for power equipment is proposed to facilitate detection of abnormal heating faults. Firstly, the Sobel edge detection operator extracts edge information from infrared and visible images of power equipment to obtain edge images. Then the feature points of two edge images are detected by the SuperPoint algorithm and the descriptors are calculated, and the feature points are matched by the SuperGlue algorithm. Finally, the affine transformation model parameters are calculated by the least square method to realize the infrared and visible image registration of power equipment. The experimental results show that the method in this paper can achieve high-precision registration of infrared and visible images of power equipment.

Key words: image registration, power equipment, edge image, deep learning, neural network

刘晓康, 夏天雷, 吴晨媛, 姜雄彪, 周明玉, 王庆华. 电力巡检场景下的红外与可见光图像配准方法[J]. 计算机与现代化, 2021, 0(09): 31-36.

LIU Xiao-kang, XIA Tian-lei, WU Chen-yuan, JIANG Xiong-biao, ZHOU Ming-yu, WANG Qing-hua. Infrared and Visible Images Registration Method for Electric Power Inspection[J]. Computer and Modernization, 2021, 0(09): 31-36.

参考文献［23］

［1］	刘晓康,万曦,涂文超,等. 基于红外可见光图像配准的电力设备分割算法［J］. 计算机与现代化, 2020(8):26-30.
［2］	王鲲鹏,徐一丹,于起峰. 红外与可见光图像配准方法分类及现状［J］. 红外技术, 2009,31(5):270-274.
［3］	苑津莎,赵振兵,高强,等. 红外与可见光图像配准研究现状与展望［J］. 激光与红外, 2009,39(7):693-699.
［4］	赵洪山,张则言. 基于文化狼群算法的电力设备红外和可见光图像配准［J］. 光学学报, 2020,40(16):1-14.
［5］	MA J Y, JIANG X Y, FAN A X, et al. Image matching from handcrafted to deep features: A survey［J］. International Journal of Computer Vision, 2021,129(1):23-79.
［6］	ZITOVA B, FLUSSER J. Image registration methods: A survey［J］. Image and Vision Computing, 2003,21(11):977-1000.
［7］	刘小军,杨杰,孙坚伟,等. 基于SIFT的图像配准方法［J］. 红外与激光工程, 2008(1):156-160.
［8］	田阿灵,赵振兵,高强. 基于SIFT的电力设备红外/可见光图像配准方法［J］. 电力科学与工程, 2008(2):13-15.
［9］	李晖晖,郑平,杨宁,等. 基于SIFT特征和角度相对距离的图像配准算法［J］. 西北工业大学学报, 2017,35(2):280-285.
［10］	李冬梅,张惊雷. 基于SURF算法的可见光与红外图像的匹配［C］// 中国仪器仪表学会.第九届全国信息获取与处理学术会议论文集Ⅱ. 2011:4.
［11］	李寒,王库,刘韶军. 基于灰度冗余和SURF算法的电气设备红外和可见光图像配准［J］. 电力系统保护与控制, 2011,39(11):111-115.
［12］	许金鑫,李庆武,马云鹏,等. 基于斜率一致性的电气设备红外与可见光图像配准方法［J］. 光电子·激光, 2017,28(7):794-802.
［13］	江泽涛,刘小艳,王琦. 基于显著性和ORB的红外和可见光图像配准算法［J］. 激光与红外, 2019,49(2):251-256.
［14］	周锋飞,陈卫东,李良福. 一种基于Canny边缘的红外与可见光图像配准算法［J］. 应用光学, 2009,30(4):605-609.
［15］	DETONE D, MALISIEWICZ T, RABINOVICH A. Superpoint: Self-supervised interest point detection and description［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2018:224-236.
［16］	DETONE D, MALISIEWICZ T, RABINOVICH A. Toward geometric deep slam［J］. Computer Vision and Pattern Recognition, 2017，arXiv:1707.07410.
［17］	SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［J］. Computer Vision and Pattern Recognition, 2014，arXiv:1409.1556.
［18］	CHOY C B, GWAK J Y, SAVARESE S, et al. Universal correspondence network［J］. Computer Vision and Pattern Recognition, 2016，arXiv:1606.03558.
［19］	SARLIN P E, DETONE D, MALISIEWICZ T, et al. Superglue: Learning feature matching with graph neural networks［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020:4938-4947.
［20］	金斌英. 基于改进的SURF图像配准算法研究［J］. 计算机测量与控制, 2019,27(11):228-232.
［21］	ALCANTARILLA P F, BARTOLI A, DAVISON A J. KAZE features［C］// European Conference on Computer Vision. 2012:214-227.
［22］	AGUILERA C, BARRERA F, LUMBRERAS F, et al. Multispectral image feature points［J］. Sensors, 2012,12(9):12661-12672.
［23］	NUNES C F G, PDUA F L C. A local feature descriptor based on log-Gabor filters for keypoint matching in multispectral images［J］. IEEE Geoscience and Remote Sensing Letters, 2017,14(10):1850-1854.

[1]	王秋忆, 周浩, 郑婷婷. 改进RetinaNet的电力设备目标检测方法[J]. 计算机与现代化, 2024, 0(01): 47-52.
[2]	胡崇佳, 刘金洲, 方立. 基于无监督域适应的室外点云语义分割[J]. 计算机与现代化, 2024, 0(01): 74-79.
[3]	林威. 基于自监督学习和数据回放的新闻推荐模型增量学习方法[J]. 计算机与现代化, 2023, 0(12): 1-6.
[4]	宋涛涛, 李艳萍, 李洪港, 韩春雪. 基于改进变结构趋近律的机械臂滑模控制系统[J]. 计算机与现代化, 2023, 0(12): 14-18.
[5]	周成诚, 曾庆军, 杨康, 胡家铭, 韩春伟. 基于高效通道注意力模块的运动想象脑电识别[J]. 计算机与现代化, 2023, 0(12): 19-23.
[6]	梁天恺, 黄康华, 刘凯航, 兰岚, 曾碧. 基于双向同态加密的深度联邦图片分类方法[J]. 计算机与现代化, 2023, 0(12): 36-40.
[7]	邱凯星, 冯广. 基于双重特征注意力的多标签图像分类模型[J]. 计算机与现代化, 2023, 0(12): 41-47.
[8]	张伯泉, 麦海鹏, 陈嘉敏, 逄锦聚. 基于高灰度值注意力机制的脑白质高信号分割[J]. 计算机与现代化, 2023, 0(12): 67-75.
[9]	王宇航, 董宝良, 公超, 尚真真, 姚康宁. 基于意图识别的空中群目标动态威胁评估[J]. 计算机与现代化, 2023, 0(12): 100-104.
[10]	马泽宇, 叶宁, 徐康, 王甦, 王汝传, . 基于FMCW雷达和ResNeSt-GRU的行为识别方法[J]. 计算机与现代化, 2023, 0(11): 101-107.
[11]	谷明轩, 范冰冰. 基于多模态特征融合的抑郁症识别[J]. 计算机与现代化, 2023, 0(10): 17-22.
[12]	陈俊义. 基于图节点动静态特征的健康事件预测模型[J]. 计算机与现代化, 2023, 0(10): 39-44.
[13]	李延满, 王必恒, 赵羚焱. 基于轻量化YOLOv5的安全帽检测[J]. 计算机与现代化, 2023, 0(10): 59-64.
[14]	黎世达, 项剑文. 一种提高图像识别模型鲁棒性的弱化强化方法[J]. 计算机与现代化, 2023, 0(10): 70-76.
[15]	陈子健, 段春红. 面向在线学习情境的认知情绪面部表情识别[J]. 计算机与现代化, 2023, 0(10): 92-98.