基于NAM-YOLO网络的苹果缺陷检测算法

doi:10.3969/j.issn.1006-2475.2023.10.008

摘要/Abstract

摘要： 针对苹果缺陷检测经常误检漏检、缺陷易混淆等问题，提出一种基于改进YOLOv5的苹果缺陷检测算法。苹果缺陷检测对苹果分拣至关重要，现有检测苹果缺陷的方法主要是通过机器学习或卷积神经网络提取颜色和纹理特征，存在错误检测、漏检和特征提取能力不足等问题，不能满足缺陷检测精度与实时性的需求。NAM-YOLO算法主要有3个核心思想：1）通过将TRANS模块添加到骨干网络，更好地融合特征与全局信息；2）通过加权双向特征金字塔网络融合不同尺度的特征；3）将基于归一化的注意力机制NAM注意机制引入颈部网络，强化目标区域的关键特征，提高网络的检测精度。实验结果表明，改进算法的mAP达到98.90%，准确度为98.73%。与其他模型相比，该模型具有较好的特征融合能力，可较好地满足苹果分拣的实际需要。

关键词: 关键词：NAM-YOLO, YOLOv5, TRANS, 注意力机制, 缺陷检测

Abstract: Aiming at the problems of apple defect detection， such as frequent false detection， leakage detection and easy confusion of defects， we propose an apple defect detection algorithm based on improved YOLOv5. Apple defect detection is very important for apple sorting. The existing methods of apple defect detection mainly extract color and texture features through machine learning or convolutional neural network， but there are problems such as error detection， missing detection and insufficient feature extraction ability. It can not meet the requirements of accuracy and real-time defect detection. NAM-YOLO algorithm mainly has three core ideas: 1） By adding TRANS module to the backbone network， features and global information can be better integrated； 2） The weighted bidirectional feature pyramid network is used to fuse features of different scales； 3） The NAM attention mechanism based on normalization is introduced into the neck network to strengthen the key features of the target region and improve the detection accuracy of the network. Experimental results show that the mAP of the improved algorithm reaches 98.90% and the accuracy is 98.73%. Compared with other models， this model has better feature fusion ability and can better meet the actual needs of apple sorting.

Key words: Key words: NAM-YOLO, YOLOv5, TRANS, attention mechanism, defect detection

中图分类号:

TP391.4

张嘉琪, 徐啟蕾. 基于NAM-YOLO网络的苹果缺陷检测算法[J]. 计算机与现代化, 2023, 0(10): 53-58.

ZHANG Jia-Qi, XU Qi-lei. Apple Defect Detection Algorithm Based on NAM-YOLO Network[J]. Computer and Modernization, 2023, 0(10): 53-58.

参考文献［29］

［1］	HUANG Z Q， ZHANG P， LIU R G， et al. Immature apple detection method based on improved YOLOv3［J］. ASP Transactions on Internet of Things， 2021，1（1）:9-13.
［2］	XING J， SAEYS W， DE BAERDEMAEKER J. Combination of chemometric tools and image processing for bruise detection on apples［J］. Computers and Electronics in Agriculture， 2007，56（1）:1-13.
［3］	王亚良，计时鸣，张利，等. 基于模糊算法的苹果无损分拣技术研究［J］. 浙江工业大学学报， 2003，31（5）:549-552.
［4］	王忠飞，谢毅，王亚良. 水果无损分拣技术研究［J］. 机床与液压， 2004（11）:79-80.
［5］	李伟强，王东，宁政通，等. 计算机视觉下的果实目标检测算法综述［J］. 计算机与现代化， 2022（6）:87-95.
［6］	王丽娟，陈浩然，季石军，等. 机器视觉成熟度检测的苹果色选分拣机设计［J］. 农业与技术， 2022，42（12）:36-40.
［7］	秦国防，秦明辉. 视觉捕捉拾取机器人在水果分类系统中的应用［J］. 农机化研究， 2020，42（9）:212-216.
［8］	FARZAND AHMADI V， ZIYAEE P， BAZYAR P， et al. Development and testing of a low-cost belt-and-roller machine for spheroid fruit sorting［J］. AgriEngineering， 2020，2（4）:596-606.
［9］	郑纪业，张琛，刘光，等. 基于线性拟合模型的苹果大小分级方法［J］. 山东农业科学， 2020，52（12）:118-125.
［10］	LI X F， ZHU W X. Apple grading method based on features fusion of size， shape and color［J］. Procedia Engineering， 2011，15:2885-2891.
［11］	JI Y H， ZHAO Q J， BI S H， et al. Apple grading method based on features of color and defect［C］// Proceedings of the 2018 37th Chinese Control Conference （CCC）. 2018:5364-5368.
［12］	YU Y， VELASTIN S A， YIN F. Automatic grading of apples based on multi-features and weighted K-means clustering algorithm［J］. Information Processing in Agriculture， 2020，7（4）:556-565.
［13］	HU Z L， TANG J S， ZHANG P， et al. Deep learning for the identification of bruised apples by fusing 3D deep features for apple grading systems［J］. Mechanical Systems and Signal Processing， 2020，145. DOI: 10.1016/j.ymssp.2020.
	106922.
［14］	FAN S X， LI J B， ZHANG Y H， et al. On line detection of defective apples using computer vision system combined with deep learning methods［J］. Journal of Food Engineering， 2020，286. DOI: 10.1016/j.jfoodeng.2020.110102.
［15］	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once: Unified， real-time object detection［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. 2016:779-788.
［16］	晁晓菲，池敬柯，张继伟，等. 基于PSA-YOLO网络的苹果叶片病斑检测［J］. 农业机械学报， 2022，53（8）:329-336.
［17］	王菁，范晓飞，赵智慧，等. 基于YOLO算法的不同品种枣自然环境下成熟度识别［J］. 中国农机化学报， 2022，43（11）:165-171.
［18］	王卓，王健，王枭雄，等. 基于改进YOLOv4的自然环境苹果轻量级检测方法［J］. 农业机械学报， 2022，53（8）:294-302.
［19］	VALDEZ P. Apple defect detection using deep learning based object detection for better post harvest handling［J］. arXiv preprint arXiv:2005.06089， 2020.
［20］	ELFWING S， UCHIBE E， DOYA K. Sigmoid-weighted linear units for neural network function approximation in reinforcement learning［J］. Neural Networks， 2018，107:3-11.
［21］	LIN T Y， DOLLAR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. 2017:936-944.
［22］	LIU Y C， SHAO Z R， TENG Y Y， et al. NAM: Normalization-based attention module［J］. arXiv preprint arXiv:2111.12419， 2021.
［23］	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16×16 words: Transformers for image recognition at scale［J］. arXiv preprint arXiv:2010.11929， 2020.
［24］	NEDIYANCHATH A， PARAMASIVAM P， YENIGALLA P. Multi-head attention for speech emotion recognition with auxiliary learning of gender recognition［C］// Proceedings of the 2020 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. 2020:7179-7183.
［25］	BA J L， KIROS J R， HINTON G E. Layer normalization［J］. arXiv preprint arXiv:1607.06450， 2016.
［26］	TAN M X， PANG R M， LE Q V. EfficientDet: Scalable and efficient object detection［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020:10778-10787.
［27］	赵文清，杨盼盼. 双向特征融合与注意力机制结合的目标检测［J］. 智能系统学报， 2021，16（6）:1098-1105.
［28］	WOO S， PARK J， LEE J Y， et al. CBAM: Convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision （ECCV）. 2018:3-19.
［29］	IOFFE S， SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift［C］// Proceedings of the 32nd International Conference on Machine Learning. 2015:448-456.

[1]	付鸿林, 张太红, 杨雅婷, 艾孜麦提·艾瓦尼尔, 马博. 基于生成对抗网络的维语场景文字修改网络[J]. 计算机与现代化, 2024, 0(01): 41-46.
[2]	王秋忆, 周浩, 郑婷婷. 改进RetinaNet的电力设备目标检测方法[J]. 计算机与现代化, 2024, 0(01): 47-52.
[3]	林启钊, 彭志平, 郭棉, 崔得龙. 基于双向多步预测的炉管温度场重构方法[J]. 计算机与现代化, 2024, 0(01): 53-58.
[4]	李亚平, 王军防, 余红梅, 窦一民, 肖媛, 田继林. Regformer：基于稀疏注意力的输油管道水力压降预测方法[J]. 计算机与现代化, 2024, 0(01): 59-66.
[5]	邱凯星, 冯广. 基于双重特征注意力的多标签图像分类模型[J]. 计算机与现代化, 2023, 0(12): 41-47.
[6]	张浩洋, 尹梓名, 乐珺怡, 沈达聪, 束翌俊, 杨自逸, 孔祥勇, 龚伟. 3D-SPRNet: 一种基于并行解码器和双注意力机制的胆囊癌分割模型[J]. 计算机与现代化, 2023, 0(12): 59-66.
[7]	张伯泉, 麦海鹏, 陈嘉敏, 逄锦聚. 基于高灰度值注意力机制的脑白质高信号分割[J]. 计算机与现代化, 2023, 0(12): 67-75.
[8]	宁娟, 周庆华, 曾小为. 改进YOLOv7算法在西林瓶轧盖缺陷检测中的应用[J]. 计算机与现代化, 2023, 0(12): 82-86.
[9]	王宇航, 董宝良, 公超, 尚真真, 姚康宁. 基于意图识别的空中群目标动态威胁评估[J]. 计算机与现代化, 2023, 0(12): 100-104.
[10]	罗明杰, 冯开平. 基于沙漏结构与注意力机制的轻量级人脸表情识别方法[J]. 计算机与现代化, 2023, 0(11): 89-94.
[11]	叶思佳, 魏延, 杜韩宇, 邓金枝. 结合注意力机制的HRNet图像语义分割算法[J]. 计算机与现代化, 2023, 0(10): 65-69.
[12]	陈嘉敏, 张伯泉, 麦海鹏. 基于特征融合的海马体分割[J]. 计算机与现代化, 2023, 0(08): 1-6.
[13]	刘续, 查可可. 一种用于机场特种车辆作业的环境目标识别方法[J]. 计算机与现代化, 2023, 0(08): 18-24.
[14]	王鸿, 葛红. 基于注意力机制和语义相似度的跨模态哈希检索[J]. 计算机与现代化, 2023, 0(08): 44-53.
[15]	欧阳飞, 吴旭, 向东升. 基于改进YOLOX的垃圾分类检测方法[J]. 计算机与现代化, 2023, 0(08): 68-73.