基于AU-GCN与注意力机制的微表情识别

摘要/Abstract

摘要： 微表情作为一种持续时间非常短的表情，能够隐晦地将人试图压抑与隐藏的真正情感表达出来，在国家安全、司法系统、医学范畴和政治选举等有着较好的应用。但由于微表情有着数据集较少、持续时间短暂、表情幅度低等特点，在识别微表情时存在数据样本量较少、计算量较大、缺失重点特征的关注、易过拟合等困难。因此本文将针对微表情只出现在面部部分区域的特点，借助面部动作单元（Action Units， AU），对其使用加权注意力机制凸显局部特征，并且应用图卷积神经网络找到AU各个节点间的依赖关系，聚合为全局特征，用于微表情识别。实验结果表明，相较于现有方法，本文提出的方法将准确率提高至79.3%。

关键词: 微表情, 面部运动单元, 图卷积网络, 注意力机制

Abstract: As a kind of expression with very short duration， micro-expression can implicitly express people ’s true feelings of trying to suppress and hide， which has a good application in national security， judicial system， medical category and political elections. However， since micro-expression has the characteristics of less data sets， short duration and low expression amplitude， there are many difficulties in identifying micro-expressions， such as less data samples， larger calculation， lack of attention to key features， and easy to over-fitting. Therefore， this paper uses facial action units （ AU ） to highlight local features by weighted attention mechanism， and applies graph convolution network to find the dependencies between AU nodes， and aggregates them into global features for micro-expression recognition. The experimental results show that compared with the existing methods， the proposed method improves the accuracy to 79.3 %.

Key words: micro-expression, facial action unit, graph convolution network, attention mechanism

赵婧华, 杨秋翔. 基于AU-GCN与注意力机制的微表情识别[J]. 计算机与现代化, 2023, 0(03): 48-53.

ZHAO Jing-hua, YANG Qiu-xiang. Micro-expression Recognition Based on AU-GCN and Attention Mechanism[J]. Computer and Modernization, 2023, 0(03): 48-53.

参考文献［26］

［1］	刘振南，申寻兵. 微表情识别训练对大学生欺骗检测能力的作用研究［C］// 第23届全国心理学学术会议摘要集（下）. 2021：397-398.
［2］	吴奇，申寻兵，傅小兰. 微表情研究及其应用［J］. 心理科学进展， 2010，18（9）：1359-1368.
［3］	蔡村，陈正东，沈蓓蓓. 把握瞬间真实：海关旅检应用微表情心理学的构想［J］. 海关与经贸研究， 2018，39（3）：27-34.
［4］	SZAJNBERG N M. What the Face Reveals： Basic and Applied Studies of Spontaneous Expression Using the Facial Action Coding System （FACS）［M］. Oxford University Press， 1997.
［5］	POLIKOVSKY S， KAMEDA Y， OHTA Y. Facial micro-expressions recognition using high speed camera and 3D-gradient descriptor［C］// The 3rd International Conference on Imaging for Crime Detection and Prevention. 2009：1-6.
［6］	陶西浩，万定生，杨志勇. 一种基于改进 LBP 特征的人脸检测方法［J］. 信息技术， 2018，42（2）：1-4.
［7］	卢官明，杨成，杨文娟，等. 基于 LBP-TOP 特征的微表情识别［J］. 南京邮电大学学报（自然科学版）， 2017，37（6）：1-7.
［8］	SHREVE M， GODAVARTHY S， MANOHAR V， et al. Towards macro-and micro-expression spotting in video using strain patterns［C］// 2009 Workshop on Applications of Computer Vision （WACV）. 2009：1-6.
［9］	SHREVE M， GODAVARTHY S， GOLDGOF D， et al. Macro-and micro-expression spotting in long videos using spatio-temporal strain［C］// 2011 IEEE International Conference on Automatic Face & Gesture Recognition （FG）. 2011：51-56.
［10］	PFISTER T， LI X B， ZHAO G Y， et al. Differentiating spontaneous from posed facial expressions within a generic facial expression recognition framework［C］// 2011 IEEE International Conference on Computer Vision Workshops （ICCV Workshops）. 2011：868-875.
［11］	GUPTA P. MERASTC： Micro-expression recognition using effective feature encodings and 2D convolutional neural network［J］. IEEE Transactions on Affective Computing， 2021. DOI：10.1109/TAFFC.2021.3061967.
［12］	LO L， XIE H X， SHUAI H H， et al. MER-GCN： Micro-expression recognition based on relation modeling with graph convolutional networks［C］// 2020 IEEE Conference on Multimedia Information Processing and Retrieval （MIPR）. 2020：79-84.
［13］	XIE H X， LO L， SHUAI H H， et al. Au-assisted graph attention convolutional network for micro-expression recognition［C］// Proceedings of the 28th ACM International Conference on Multimedia. 2020：2871-2880.
［14］	BUHARI A M， OOI C P， BASKARAN V M， et al. FACS-based graph features for real-time micro-expression recognition［J］. Journal of Imaging， 2020，6（12）：130.
［15］	DAVISON A K， LANSLEY C， COSTEN N， et al. SAMM： A spontaneous micro-facial movement dataset［J］. IEEE Transactions on Affective Computing， 2016，9（1）：116-129.
［16］	KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks［J］. arXiv preprint arXiv：1609.02907， 2016.
［17］	ASTHANA A， ZAFEIRIOU S， CHENG S， et al. Robust discriminative response map fitting with constrained local models［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2013：3444-3451.
［18］	魏文辉. 基于代表性AU区域的微表情识别算法研究［D］. 济南：山东大学， 2021.
［19］	张延良，卢冰，洪晓鹏，等. 基于局部区域方法的微表情识别［J］. 计算机应用， 2019，39（5）：1282-1287.
［20］	何景琳，梁正友，孙宇，等. 结合C3D与光流法的微表情自动识别［J］. 计算机系统应用， 2021，30（1）：221-227.
［21］	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Advances in Neural Information Processing Systems. 2017：5998-6008.
［22］	TRAN D， WANG H， TORRESANI L， et al. A closer look at spatiotemporal convolutions for action recognition［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018：6450-6459.
［23］	LI J， WANG Y D， SEE J， et al. Micro-expression recognition based on 3D flow convolutional neural network［J］. Pattern Analysis and Applications， 2019，22（4）：1331-1339.
［24］	KHOR H Q， SEE J， LIONG S T， et al. Dual-stream shallow networks for facial micro-expression recognition［C］// 2019 IEEE International Conference on Image Processing （ICIP）. 2019：36-40.
［25］	LEI L， LI J F， CHEN T， et al. A novel graph-tcn with a graph structured representation for micro-expression recognition［C］// Proceedings of the 28th ACM International Conference on Multimedia. 2020：2237-2245.
［26］	XIA Z Q， HONG X P， GAO X Y， et al. Spatiotemporal recurrent convolutional networks for recognizing spontaneous micro-expressions［J］. IEEE Transactions on Multimedia， 2019，22（3）：626-640.

[1]	王秋忆, 周浩, 郑婷婷. 改进RetinaNet的电力设备目标检测方法[J]. 计算机与现代化, 2024, 0(01): 47-52.
[2]	林启钊, 彭志平, 郭棉, 崔得龙. 基于双向多步预测的炉管温度场重构方法[J]. 计算机与现代化, 2024, 0(01): 53-58.
[3]	李亚平, 王军防, 余红梅, 窦一民, 肖媛, 田继林. Regformer：基于稀疏注意力的输油管道水力压降预测方法[J]. 计算机与现代化, 2024, 0(01): 59-66.
[4]	邱凯星, 冯广. 基于双重特征注意力的多标签图像分类模型[J]. 计算机与现代化, 2023, 0(12): 41-47.
[5]	张浩洋, 尹梓名, 乐珺怡, 沈达聪, 束翌俊, 杨自逸, 孔祥勇, 龚伟. 3D-SPRNet: 一种基于并行解码器和双注意力机制的胆囊癌分割模型[J]. 计算机与现代化, 2023, 0(12): 59-66.
[6]	张伯泉, 麦海鹏, 陈嘉敏, 逄锦聚. 基于高灰度值注意力机制的脑白质高信号分割[J]. 计算机与现代化, 2023, 0(12): 67-75.
[7]	宁娟, 周庆华, 曾小为. 改进YOLOv7算法在西林瓶轧盖缺陷检测中的应用[J]. 计算机与现代化, 2023, 0(12): 82-86.
[8]	王宇航, 董宝良, 公超, 尚真真, 姚康宁. 基于意图识别的空中群目标动态威胁评估[J]. 计算机与现代化, 2023, 0(12): 100-104.
[9]	罗明杰, 冯开平. 基于沙漏结构与注意力机制的轻量级人脸表情识别方法[J]. 计算机与现代化, 2023, 0(11): 89-94.
[10]	张嘉琪, 徐啟蕾. 基于NAM-YOLO网络的苹果缺陷检测算法[J]. 计算机与现代化, 2023, 0(10): 53-58.
[11]	叶思佳, 魏延, 杜韩宇, 邓金枝. 结合注意力机制的HRNet图像语义分割算法[J]. 计算机与现代化, 2023, 0(10): 65-69.
[12]	陈嘉敏, 张伯泉, 麦海鹏. 基于特征融合的海马体分割[J]. 计算机与现代化, 2023, 0(08): 1-6.
[13]	刘续, 查可可. 一种用于机场特种车辆作业的环境目标识别方法[J]. 计算机与现代化, 2023, 0(08): 18-24.
[14]	王鸿, 葛红. 基于注意力机制和语义相似度的跨模态哈希检索[J]. 计算机与现代化, 2023, 0(08): 44-53.
[15]	欧阳飞, 吴旭, 向东升. 基于改进YOLOX的垃圾分类检测方法[J]. 计算机与现代化, 2023, 0(08): 68-73.