基于Faster-RCNN的自然环境下苹果识别

计算机与现代化 ›› 2023, Vol. 0 ›› Issue (02): 62-65.

基于Faster-RCNN的自然环境下苹果识别

（中北大学信息与通信工程学院，山西太原 030051）

出版日期:2023-04-10 发布日期:2023-04-10
作者简介:石展鲲（1998—），男，山西运城人，硕士研究生，研究方向：图像处理，E-mail： szk15034593707@163.com；杨风（1964—），女，山西万荣人，教授，研究方向：信号处理，检测技术与自动化装置，E-mail： fengyang@nuc.edu.cn；韩建宁（1980—），男，山西太原人，教授，博士，研究方向：图形图像处理，声学超材料，E-mail： hanjn46@nuc.edu.cn；郭鑫（1998—），男，山西晋城人，硕士研究生，研究方向：图像处理，E-mail： 937215351@qq.com；曹尚斌（1998—），男，河北石家庄人，硕士研究生，研究方向：测试技术与仪器，E-mail： manbaout1@163.com。
基金资助:
山西省重点研发计划项目（201903D221018）

Apples Recognition in Natural Environment Based on Faster-RCNN

（School of Information and Communication Engineering，North University of China，Taiyuan 030051，China）

Online:2023-04-10 Published:2023-04-10

摘要/Abstract

摘要： 针对苹果园中存在的果实相互重叠、枝叶干扰以及复杂背景等问题，本文提出Faster-RCNN一种改进的模型。该模型通过增强Mosaic数据，使得识别小物体目标果实能力得到提升，同时，对Faster-RCNN结构中的锚框进行优化，优化后的锚框能更好地检测出距离相机较远的目标果实，以及使用Soft NMS算法对密集区域的识别效果进一步得到改进。通过对300幅未参与识别的自然环境下的苹果图像进行验证，验证结果表明：召回率为91.44%，准确率为93.35%，F1值为92.38%，每幅图像的检测可在0.2 s内完成。改进后的算法鲁棒性得到增强，能够满足在自然环境下对苹果果实的识别工作。

关键词: Faster-RCNN, Mosaic数据增强, 目标识别, Soft NMS算法

Abstract: Aiming at the problems of overlapping fruits， interference of branches and leaves， and complex backgrounds in apple orchards， the Faster-RCNN algorithm was proposed. By adding Mosaic data enhancement at the input end， the amount of data is increased and the ability to recognize small objects is enhanced. At the same time， the anchor frame in the Faster-RCNN algorithm is optimized， and the optimized anchor frame can better detect the distance. The target fruit far from the camera and the Soft NMS algorithm are used to further improve the recognition effect of dense areas. The verification results show that the recall rate is 91.44%， the accuracy rate is 93.35%， the F1 value is 92.38%， and the average detection speed per image can reach 0.2 fps. The robustness of the improved algorithm is enhanced， which can meet the recognition of apple fruits in natural environment.

Key words: Faster-RCNN, Mosaic data augmentation, target recognition, Soft NMS algorithm

石展鲲, 杨风, 韩建宁, 郭鑫, 曹尚斌. 基于Faster-RCNN的自然环境下苹果识别[J]. 计算机与现代化, 2023, 0(02): 62-65.

SHI Zhan-kun, YANG Feng, HAN Jian-ning, GUO Xin, CAO Shang-bin. Apples Recognition in Natural Environment Based on Faster-RCNN[J]. Computer and Modernization, 2023, 0(02): 62-65.

参考文献［27］

［1］	李伟强，王东，宁政通，等. 计算机视觉下的果实目标检测算法综述［J］. 计算机与现代化， 2022（6）:87-95.
［2］	吕继东，王艺洁，夏正旺，等. 基于改进的Mask R-CNN自然场景下苹果识别研究［J］. 常州大学学报:自然科学版， 2022，34（1）:68-77.
［3］	仇誉，韩俊英，封成智，等. 基于卷积神经网络的苹果栽培品种识别［J］. 计算机与现代化， 2021（12）:65-71.
［4］	FAN P， LANG G D， GUO P J， et al．Multi-feature patch-based segmentation technique in the gray-centered RGB color space for improved apple target recognition［J］．Agriculture，2021，11（3）．https://doi.org/10.3390/agriculture11030273.
［5］	魏亚辉，黄耿楠，吴福培. 基于改进分水岭算法的苹果识别方法［J］. 包装工程， 2021，42（8）:255-260.
［6］	李大华，包学娟，于晓，等. 基于YOLOv3网络的自然环境下青苹果检测与识别［J］. 激光杂志， 2021，42（1）:71-77.
［7］	刘丽娟，窦佩佩，王慧. 自然环境下重叠与遮挡苹果图像识别方法研究［J］. 中国农机化学报， 2021，42（6）:174-181.
［8］	TIAN Y O， YANG G D， WANG Z， et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model［J］. Computers and Electronics in Agriculture， 2019，157（C）:417-426.
［9］	江梅，孙飒爽，何东健，等. 融合K-means聚类分割算法与凸壳原理的遮挡苹果目标识别与定位方法［J］. 智慧农业， 2019，1（2）:45-54.
［10］	WAN S H， GOUDOS S. Faster R-CNN for multi-class fruit detection using a robotic vision system［J］. Computer Networks， 2020，168. DOI:10.1016/j.comnet.2019.107036.
［11］	张磊，姜军生，李昕昱，等. 基于快速卷积神经网络的果园果实检测试验研究［J］. 中国农机化学报， 2020，41（10）:183-190.
［12］	薛月菊，黄宁，涂淑琴，等. 未成熟芒果的改进YOLOv2识别方法［J］. 农业工程学报， 2018，34（7）:173-179.
［13］	SUN J， HE X F， GE X， et al. Detection of key organs in tomato based on deep migration learning in a complex background［J］. Agriculture， 2018，8（12）. DOI:10.3390/agriculture8120196.
［14］	赵德安，吴任迪，刘晓洋，等. 基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位［J］. 农业工程学报， 2019，35（3）:164-173.
［15］	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN: Towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017，39（6）:1137-1149.
［16］	江磊，崔艳荣. 基于YOLOv5的小目标检测［J］. 电脑知识与技术:学术版， 2021，17（26）:131-133.
［17］	BOCHKOVSKIY A， WANG C， LIAO H M. YOLOv4: Optimal speed and accuracy of object detection［J］. arXiv preprint arXiv:2004.10934， 2020.
［18］	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2016:770-778.
［19］	任朝东，张得礼. 基于RPN网络和改进LBP特征的充电口检测算法［J］. 计算机与现代化， 2021（8）:64-69.
［20］	QIN Y Y， HE S Y， ZHAO Y， et al. RoI pooling based fast multi-domain convolutional neural networks for visual tracking［C］// 2016 2nd International Conference on Artificial Intelligence and Industrial Engineering （AIIE 2016）. 2016. DOI:10.2991/aiie-16.2016.46.
［21］	蒋怡，黄平，董秀春，等. 基于Softmax分类器的小春作物种植空间信息提取［J］. 西南农业学报， 2019，32（8）:1880-1885.
［22］	赵文仓，徐长凯，王春鑫. 基于优化边界框回归的目标检测［J］. 高技术通讯， 2021，31（7）:747-753.
［23］	朱继洪，裴继红，赵阳. 卷积神经网络（CNN）训练中卷积核初始化方法研究［J］. 信号处理， 2019，35（4）:641-648.
［24］	桑海峰，吕应宇. 全卷积连接神经网络的目标跟踪［J］. 电脑与信息技术， 2019，27（1）:1-5.
［25］	徐信罗，陶欢，李存军，等. 基于FasterR-CNN的松材线虫病受害木识别与定位［J］. 农业机械学报， 2020，51（7）:228-236.
［26］	李景琳，姜晶菲，窦勇，等. 基于Soft-NMS的候选框去冗余加速器设计［J］. 计算机工程与科学， 2021，43（4）:586-593.
［27］	陈斌，饶洪辉，王玉龙，等. 基于Faster-RCNN的自然环境下油茶果检测研究［J］. 江西农业学报， 2021，33（1）:67-70.

[1]	刘续, 查可可. 一种用于机场特种车辆作业的环境目标识别方法[J]. 计算机与现代化, 2023, 0(08): 18-24.
[2]	朱理清, 李祥, . 改进YOLOv5算法的遥感图像车辆检测[J]. 计算机与现代化, 2023, 0(05): 117-121.
[3]	雷振江1,王雷1,崔吉生1,陈硕2,徐正清3,于海龙2,孟皓2,刘国忠2 . 基于HoloLens的变电站运维仿真培训系统[J]. 计算机与现代化, 2019, 0(11): 94-.
[4]	杜文浩,胡维平,张佑贤,于健涛. 自平衡跟随机器人的目标识别及预测重拾策略[J]. 计算机与现代化, 2019, 0(05): 108-.
[5]	唐晖，王庆，陈洪，郭浩. 基于深度学习的体感交互方法[J]. 计算机与现代化, 2019, 0(02): 7-.
[6]	王曙光，吕攀飞. 改进YOLO v2的装甲车辆目标识别[J]. 计算机与现代化, 2018, 0(09): 68-.
[7]	方雪，余瑞星. 基于网格统计模型的三维目标识别[J]. 计算机与现代化, 2014, 0(4): 24-28.
[8]	钟志伟;徐贵力;王彪;郭瑞鹏;田裕鹏;李开宇. 基于PCA和不变矩的三维物体识别算法研究[J]. 计算机与现代化, 2013, 1(3): 5-8.
[9]	朱参世;安利. 运动目标识别方法与仿真研究[J]. 计算机与现代化, 2010, 1(5): 63-65.