基于沙漏结构与注意力机制的轻量级人脸表情识别方法

doi:10.3969/j.issn.1006-2475.2023.11.014

摘要/Abstract

摘要： 摘要：人脸表情检测分类是人机交互领域的一个挑战性任务。为了解决当前表情识别模型参数量大、分类准确率低等问题，提出一种基于沙漏结构与注意力机制的轻量级人脸表情识别方法。首先利用改进的沙漏结构构建轻量级主干特征提取网络；然后设计一个新颖的特征融合注意模块，融合Focus池化特征以提取关键的细节信息，同时嵌入轻量级ECA注意力机制，强化关键表情特征以提升模型的特征表达能力；最后采取Random Erasing、Dropout等多种训练策略以缓解轻量级网络过拟合现象，从而提升模型的泛化性能。在2个经典表情数据集FER2013和CK+上进行测试实验，识别率分别达到了71.72%、95.96%，同时参数量仅约为1×106。

关键词: 关键词：表情识别, 沙漏结构, 注意力机制, 轻量化

Abstract: Abstract: Facial expression detection and classification is a challenging task in the field of human-computer interaction. In order to solve the problems of large parameters and low classification accuracy in current facial expression recognition models， a lightweight facial expression recognition method based on sandglass structure and attention mechanism is proposed. First， the improved sandglass structure is used to build a lightweight backbone feature extraction network. Then a novel feature fusion attention module is designed. Focus pooled features are fused to extract key details， and lightweight ECA attention mechanism is embedded to strengthen key expression features to improve the feature expression ability of the model. Finally， various training strategies such as Random Erasing and Dropout are adopted to alleviate the over fitting phenomenon of lightweight networks， so as to improve the generalization performance of the model. Testing experiments were conducted on two classical expression datasets FER2013 and CK+， and the recognition rates reached 71.72% and 95.96% respectively， while the number of parameters is only about 1×106.

Key words: Key words: expression recognition, sandglass, attention mechanism, lightweight

中图分类号:

TP391

罗明杰, 冯开平. 基于沙漏结构与注意力机制的轻量级人脸表情识别方法[J]. 计算机与现代化, 2023, 0(11): 89-94.

LUO Ming-jie, FENG Kai-ping. Lightweight Facial Expression Recognition Method Based on Sandglass Structure and Attention Mechanism[J]. Computer and Modernization, 2023, 0(11): 89-94.

参考文献［36］

［1］	EKMAN P， FRIESEN W V. Constants across cultures in the face and emotion［J］. Journal of Personality and Social Psychology， 1971，17（2）:124-129.
［2］	刘伟锋，王延. 特征点LBP信息在表情识别中的应用［J］. 计算机工程与应用， 2009，45（31）:138-139.
［3］	童莹. 基于空间多尺度HOG特征的人脸表情识别方法［J］. 计算机工程与设计， 2014，35（11）:3918-3922.
［4］	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016:770-778.
［5］	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［J］. arXiv preprint arXiv:1409.1556， 2014.
［6］	HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017:4700-4708.
［7］	陈加敏，徐杨. 注意力金字塔卷积残差网络的表情识别［J］. 计算机工程与应用， 2022，58（22）:123-131.
［8］	杨旭，尚振宏. 基于改进AlexNet的人脸表情识别［J］.激光与光电子学进展， 2020，57（14）:243-250.
［9］	张业，杨词慧，张杰妹，等. 基于SR-VGG19的人脸表情识别算法研究［J］. 计算机与数字工程， 2021，49（9）:1889-1894.
［10］	宋玉琴，高师杰，曾贺东，等. 嵌入注意力机制的多尺度深度可分离表情识别［J/OL］. 北京航空航天大学学报:1-10［2022-12-08］. DOI: 10.13700/j.bh.1001-5965.2021.0114.
［11］	张波，兰艳亭，李大威，等. 基于卷积网络通道注意力的人脸表情识别［J］. 无线电工程，2022，52（1）:148-153.
［12］	ZHOU D Q， HOU Q B， CHEN Y P， et al. Rethinking bottleneck structure for efficient mobile network design［C］// European Conference on Computer Vision. Springer， 2020:680-697.
［13］	MISRA D. Mish: A self regularized non-monotonic neural activation function［J］. arXiv preprint arXiv:1908.08681， 2019.
［14］	HOWARD A G， ZHU M L， CHEN B， et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications［J］. arXiv preprint arXiv:1704.04861， 2017.
［15］	WANG C Y， BOCHKOVSKIY A， LIAO H Y M. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors［J］. arXiv preprint arXiv:2207.
	02696， 2022.
［16］	JOCHER G. ultralytics/yolov5［EB/OL］.［2022-12-15］. https://github.com/ultralytics/yolov5.
［17］	WANG Q L， WU B G， ZHU P F， et al. ECA-Net: Efficient channel attention for deep convolutional neural networks［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020:11531-11539.
［18］	ZHONG Z， ZHENG L， KANG G L， et al. Random erasing data augmentation［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. 2020:13001-13008.
［19］	SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout: A simple way to prevent neural networks from overfitting［J］. The Journal of Machine Learning Research， 2014，15（1）:1929-1958.
［20］	SANDLER M， HOWARD A， ZHU M L， et al. MobileNetV2: Inverted residuals and linear bottlenecks［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018:4510-4520.
［21］	MIAO S， XU H Y， HAN Z Q， et al. Recognizing facial expressions using a shallow convolutional neural network［J］. IEEE Access， 2019，7:78000-78011.
［22］	SHAO J， QIAN Y S. Three convolutional neural network models for facial expression recognition in the wild［J］. Neurocomputing， 2019，355:82-92.
［23］	徐琳琳，张树美，赵俊莉. 构建并行卷积神经网络的表情识别算法［J］. 中国图象图形学报， 2019，24（2）:227-236.
［24］	罗思诗，李茂军，陈满. 多尺度融合注意力机制的人脸表情识别网络［J］. 计算机工程与应用， 2023，59（1）:199-206.
［25］	JAIN D K， SHAMSOLMOALI P， SEHDEV P. Extended deep neural network for facial emotion recognition［J］. Pattern Recognition Letters， 2019，120:69-74.
［26］	XIE S Y， HU H F. Facial expression recognition using hierarchical features with deep comprehensive multipatches aggregation convolutional neural networks［J］. IEEE Transactions on Multimedia， 2019，21（1）:211-220.
［27］	SUN X， XIA P P， ZHANG L M， et al. A ROI-guided deep architecture for robust facial expressions recognition［J］. Information Sciences， 2020，522:35-48.
［28］	TURAN C， LAM K M. Histogram-based local descriptors for facial expression recognition （FER）: A comprehensive study［J］. Journal of Visual Communication and Image Representation， 2018，55:331-341.
［29］	SHAO J， CHENG Q Y. E-FCNN for tiny facial expression recognition［J］. Applied Intelligence， 2021，51（1）:549-559.
［30］	GAN C Q， XIAO J H， WANG Z Y， et al. Facial expression recognition using densely connected convolutional neural network and hierarchical spatial attention［J］. Image and Vision Computing， 2022，117:104342.1-104342.9.
［31］	张鹏，孔韦韦，滕金保. 基于多尺度特征注意力机制的人脸表情识别［J］. 计算机工程与应用， 2022，58（1）:182-189.
［32］	SHERVIN M， MEHDI M， AMIRALI A. Deep-emotion: Facial expression recognition using attentional convolutional network［J］. Sensors， 2021，21（9）:3046. DOI:10.3390/S21093046.
［33］	梁华刚，雷毅雄. 增强可分离卷积通道特征的表情识别研究［J］. 计算机工程与应用， 2022，58（2）:184-192.
［34］	GUO Y N， TAO D P， YU J， et al. Deep neural networks with relativity learning for facial expression recognition［C］// 2016 IEEE International Conference on Multimedia & Expo Workshops（ICMEW）. IEEE， 2016:1-6.
［35］	奚琰. 基于对比学习的细粒度遮挡人脸表情识别［J］.计算机系统应用， 2022，31（11）:175-183.
［36］	SELVARAJU R R， COGSWELL M， DAS A， et al. Grad-cam: Visual explanations from deep networks via gradient-based localization［C］// Proceedings of the IEEE International Conference on Computer Vision. 2017:618-626.

[1]	王秋忆, 周浩, 郑婷婷. 改进RetinaNet的电力设备目标检测方法[J]. 计算机与现代化, 2024, 0(01): 47-52.
[2]	林启钊, 彭志平, 郭棉, 崔得龙. 基于双向多步预测的炉管温度场重构方法[J]. 计算机与现代化, 2024, 0(01): 53-58.
[3]	李亚平, 王军防, 余红梅, 窦一民, 肖媛, 田继林. Regformer：基于稀疏注意力的输油管道水力压降预测方法[J]. 计算机与现代化, 2024, 0(01): 59-66.
[4]	邱凯星, 冯广. 基于双重特征注意力的多标签图像分类模型[J]. 计算机与现代化, 2023, 0(12): 41-47.
[5]	张浩洋, 尹梓名, 乐珺怡, 沈达聪, 束翌俊, 杨自逸, 孔祥勇, 龚伟. 3D-SPRNet: 一种基于并行解码器和双注意力机制的胆囊癌分割模型[J]. 计算机与现代化, 2023, 0(12): 59-66.
[6]	张伯泉, 麦海鹏, 陈嘉敏, 逄锦聚. 基于高灰度值注意力机制的脑白质高信号分割[J]. 计算机与现代化, 2023, 0(12): 67-75.
[7]	宁娟, 周庆华, 曾小为. 改进YOLOv7算法在西林瓶轧盖缺陷检测中的应用[J]. 计算机与现代化, 2023, 0(12): 82-86.
[8]	王宇航, 董宝良, 公超, 尚真真, 姚康宁. 基于意图识别的空中群目标动态威胁评估[J]. 计算机与现代化, 2023, 0(12): 100-104.
[9]	欧嘉城, 曾安, 金亮. 基于CP-YOLOX的冷冻电镜图像蛋白质目标检测算法[J]. 计算机与现代化, 2023, 0(11): 113-119.
[10]	张嘉琪, 徐啟蕾. 基于NAM-YOLO网络的苹果缺陷检测算法[J]. 计算机与现代化, 2023, 0(10): 53-58.
[11]	叶思佳, 魏延, 杜韩宇, 邓金枝. 结合注意力机制的HRNet图像语义分割算法[J]. 计算机与现代化, 2023, 0(10): 65-69.
[12]	陈嘉敏, 张伯泉, 麦海鹏. 基于特征融合的海马体分割[J]. 计算机与现代化, 2023, 0(08): 1-6.
[13]	刘续, 查可可. 一种用于机场特种车辆作业的环境目标识别方法[J]. 计算机与现代化, 2023, 0(08): 18-24.
[14]	王鸿, 葛红. 基于注意力机制和语义相似度的跨模态哈希检索[J]. 计算机与现代化, 2023, 0(08): 44-53.
[15]	欧阳飞, 吴旭, 向东升. 基于改进YOLOX的垃圾分类检测方法[J]. 计算机与现代化, 2023, 0(08): 68-73.