融合视觉信息的激光SLAM

计算机与现代化 ›› 2023, Vol. 0 ›› Issue (02): 17-23.

融合视觉信息的激光SLAM

（1.上海电力大学自动化工程学院，上海 200090； 2.上海合时智能科技有限公司，上海 200040）

出版日期:2023-04-10 发布日期:2023-04-10
作者简介:吴松林（1996—），男,河南商丘人，硕士研究生，研究方向:计算机视觉与激光，SLAM，E-mail： wsl0816@qq.com；张国伟（1970—），男，上海人，副教授，博士，研究方向:信息检测，移动机器人，E-mail: 13917408956@163.com；卢秋红（1973—），女，上海人，高级工程师，博士，研究方向:计算机视觉，移动机器人，E-mail: 15921492692@163.com；施建壮（1995—），男，江苏连云港人，硕士研究生，研究方向:激光SLAM，路径规划，E-mail: 1260556598@qq.com；黄威（1998—），湖北宜昌人，硕士研究生，研究方向:计算机视觉，E-mail: 837178550@qq.com。
基金资助:
上海市金山区信息化发展专项资金资助项目（2021-XXH-11）；上海市闵行区产学研项目（2019MHC083）

Laser SLAM Mapping Method Based on Visual Information

（1.School of Automation Engineering， Shanghai University of Electric Power， Shanghai 200090， China；
2.Shanghai HRSTEK Co.， Ltd，， Shanghai 200040， China）

Online:2023-04-10 Published:2023-04-10

摘要/Abstract

摘要： 针对Gmapping SLAM(simultaneous location and mapping)算法在地图构建过程中对里程计定位精度要求较高且存在粒子耗散、退化等问题，本文首先设计出并行视觉识别与定位网络，用视觉特征与定位信息弥补粒子退化与激光点的漂移，强化定位能力，提高语义信息与构图精度；其次优化提议分布，将观测模型从里程计观测模型变换为激光观测模型并进行高斯采样，用更少的粒子覆盖机器人的概率分布；最后通过贝叶斯规则将视觉信息与激光信息融合，利用仿真工具、机器人平台与原算法进行对比，实验结果表明该算法不仅有效地提高地图构建的精确度与鲁棒性而且丰富了地图的语义信息。

关键词: SLAM, 计算机视觉, 激光观测模型, 神经网络, 贝叶斯融合

Abstract: In view of the fact that the Gmapping SLAM algorithm has high requirements on the accuracy of odometry positioning information in the process of map construction， and there are problems such as particle dissipation and degradation， Firstly， a parallel visual recognition and localization network is designed to strengthen the localization ability and improve the semantic information and composition accuracy； Secondly， the optimization proposal distribution is improved， we use the laser observation model to replace the odometrg motion model and perform Gaussian sampling to cover the probability distribution of the robot with fewer particles； Finally， the visual information and laser information are fused by Bayesian rule， and the original algorithm is compared. The results show that the algorithm improves the accuracy and robustness of map construction and enriches the semantic information.

Key words: SLAM, computer vision, laser observation model, neural networks, bayesian fusion

吴松林, 张国伟, 卢秋红, 施建壮, 黄威. 融合视觉信息的激光SLAM[J]. 计算机与现代化, 2023, 0(02): 17-23.

WU Song-lin, ZHANG Guo-wei, LU Qiu-hong, SHI Jian-zhuang, HUANG Wei. Laser SLAM Mapping Method Based on Visual Information[J]. Computer and Modernization, 2023, 0(02): 17-23.

参考文献［32］

［1］	DISSANAYAKE G， HUANG S D， WANG Z， et al. A review of recent developments in simultaneous localization and mapping［C］// 2011 6th International Conference on Industrial and Information Systems. 2011:477-482.
［2］	DISSANAYAKE G， DURRANT-WHYTE H， BAILEY T. A computationally efficient solution to the simultaneous localisation and map building （SLAM） problem［C］// Proceedings 2000 ICRA. Millennium Conference. IEEE International Conference on Robotics and Automation. Symposia Proceedings. 2000:1009-1014.
［3］	王忠立，赵杰，蔡鹤皋. 大规模环境下基于图优化SLAM的图构建方法［J］. 哈尔滨工业大学学报，2015，47（1）:75-85.
［4］	桑迪. 基于图优化激光SLAM的AGV室内自主导航算法研究［D］. 济南:山东大学，2019.
［5］	ZHANG W S， LIU X， YUAN J R， et al. RCNN-based foreign object detection for securing power transmission lines （RCNN4SPTL）［J］. Procedia Computer Science， 2019，147（C）:331-337.
［6］	LU F， MILIOS E. Globally consistent range scan alignment for environment mapping［J］. Autonomous Robots， 1997，4（4）:333-349.
［7］	THRUN S， BURGARD W， FOX D. Probabilistic robotics （intelligent robotics and autonomous agents）［M］.The MIT Press，2005.
［8］	GRISETTI G， STACHNISS C， BURGARD W. Improved techniques for grid mapping with rao-blackwellized particle filters［J］. IEEE Transactions on Robotics， 2007，23（1）:34-46.
［9］	REN S， HE K， GIRSHICK R， et al. Faster R-CNN: Towards real-time object detection with region proposal networks［C］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017，39（6）:1137-1149.
［10］	罗元，余佳航，汪龙峰，等. 改进RBPF的移动机器人同步定位与地图构建［J］. 智能系统学报， 2015，10（3）:460-464.
［11］	DOUCET A， GODSILL S J， RIEU C. On sequential simulation-based methods for Bayesian altering ［D］. Cam-bridge， University of Cambridge， 2000.
［12］	张毅，郑潇峰，罗元，等. 基于高斯分布重采样的
	RaoBlackwellized粒子滤波SLAM算法［J］. 控制与决策， 2016，31（12）:2299-2304.
［13］	孙弋，张笑笑. 结合退火优化和遗传重采样的RBPF算法［J］. 西安科技大学学报， 2020，40（2）:349-355.
［14］	陈科圻，朱志亮，邓小明，等. 多尺度目标检测的深度学习研究综述［J］. 软件学报， 2021，32（4）:1201-1227.
［15］	张明明. 基于迁移学习的无人机场景轻量级网络目标检测［D］. 徐州:中国矿业大学， 2021.
［16］	QIN Z， Li Z M， ZHANG Z N， et al. ThunderNet: Towards real-time generic object detection on mobile devices［C］// 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. 2019:6717-6726.
［17］	YANG Y， WU F C. Real-Time traffic sign detection via color probability model and integral channel features［C］// Chinese Conference on Pattern Recognition. 2014:545-554.
［18］	CAI M， ZHAN H Y， WEERASEKERA C S， et al. Camera relocalization by exploiting multi-View constraints for scene coordinates regression［C］// 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. 2019:3769-3777.
［19］	冯冠元. 基于室内三维稠密地图的视觉定位关键技术研究［D］. 哈尔滨:哈尔滨工业大学， 2019.
［20］	LONG J， SHELLHAMER E， DARRELL T. Fully convolutionnnal networks for semantic segmentation［C］// 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2015:3431-3440.
［21］	REDMON J， FARHADI A. YOLO9000: Better， faster， stronger［C］// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2017:6517-6525.
［22］	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once: Unified， real-time object detection［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2016:779-788.
［23］	向玉云，黄铝文. 基于生物激励神经网络的室内实时激光SLAM控制方法［J］. 信息与控制， 2021，50（6）:709-721.
［24］	STIGLER S M. Thomas bayes’s bayesian inference ［J］. Journal of the Royal Statistical Society. 1982，145（2）: 250-258..
［25］	辛妙妙. 基于改进RANSAC算法的激光点云建筑物自动提取方法研究［D］. 西安:长安大学， 2020.
［26］	王文，徐亦白，卢杉，等. 一种结合区域检测和语义分割的SLAM技术［J］. 计算机与现代化， 2019（7）:55-60.
［27］	MASSICETI D， KRULL A， BRACHMANN E， et al. Random forests versus neural networks—What’s best for camera localization?［C］// 2017 IEEE International Conference on Robotics and Automation （ICRA）. 2017:5118-5125.
［28］	BRACHMANN E， KRULL A， NOWOZIN S， et al. DSAC — Differentiable RANSAC for camera localization［C］// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2017:2492-2500.
［29］	GOODFELLOW I， BENGIO Y， COURVILLE A. Deep Learning ［M］. Cambridge: MIT Press，2016.
［30］	CHEN Y P， FAN H Q， XU B， et al. Drop an octave: Reducing spatial redundancy in convolutional neural networks with octave convolution［C］// 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. 2019:3434-3443.
［31］	GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］// 2014 IEEE Conference on Computer Vision and Pattern Recognition. 2014:580-587.
［32］	STACHNISS C， FREESEZ U， GRISETTI G. GMapping Code ［EB/OL］. ［2017-08-26］. http://www.openslam.org.

[1]	宋涛涛, 李艳萍, 李洪港, 韩春雪. 基于改进变结构趋近律的机械臂滑模控制系统[J]. 计算机与现代化, 2023, 0(12): 14-18.
[2]	周成诚, 曾庆军, 杨康, 胡家铭, 韩春伟. 基于高效通道注意力模块的运动想象脑电识别[J]. 计算机与现代化, 2023, 0(12): 19-23.
[3]	梁天恺, 黄康华, 刘凯航, 兰岚, 曾碧. 基于双向同态加密的深度联邦图片分类方法[J]. 计算机与现代化, 2023, 0(12): 36-40.
[4]	王宇航, 董宝良, 公超, 尚真真, 姚康宁. 基于意图识别的空中群目标动态威胁评估[J]. 计算机与现代化, 2023, 0(12): 100-104.
[5]	谷明轩, 范冰冰. 基于多模态特征融合的抑郁症识别[J]. 计算机与现代化, 2023, 0(10): 17-22.
[6]	陈俊义. 基于图节点动静态特征的健康事件预测模型[J]. 计算机与现代化, 2023, 0(10): 39-44.
[7]	黎世达, 项剑文. 一种提高图像识别模型鲁棒性的弱化强化方法[J]. 计算机与现代化, 2023, 0(10): 70-76.
[8]	陈子健, 段春红. 面向在线学习情境的认知情绪面部表情识别[J]. 计算机与现代化, 2023, 0(10): 92-98.
[9]	刘付琪, 张达, 宋建华, 王海东. 基于CNN-BiLSTM的液压系统故障诊断[J]. 计算机与现代化, 2023, 0(09): 10-19.
[10]	吴甜, 刘海华, 童顺延. 基于深度反馈的卷积神经网络的图像分类[J]. 计算机与现代化, 2023, 0(09): 82-86.
[11]	毛明扬, 徐胜超. 面向粒子群优化BP神经网络的粗糙集连续属性离散化算法[J]. 计算机与现代化, 2023, 0(09): 115-119.
[12]	孙子雨, 任燃, 魏曦哲. 基于DTW-TCN的股票分类及预测研究[J]. 计算机与现代化, 2023, 0(08): 31-37.
[13]	曾丽丽, 汤华贝, 牛艺晓, 孟凡月. 基于LSTM堆叠残差网络的岩相识别方法[J]. 计算机与现代化, 2023, 0(08): 38-43.
[14]	江蕾, 唐建, 杨超越, 吕婷婷. 基于CWGAN-GP与CNN的轴承故障诊断方法[J]. 计算机与现代化, 2023, 0(07): 1-6.
[15]	崔少国, 张岗, 王奥迪. 基于感知注意力的深度交叉网络推荐模型[J]. 计算机与现代化, 2023, 0(07): 54-60.