基于I-ConvNeXt的GAN生成人脸图像鉴别方法

doi:10.3969/j.issn.1006-2475.2024.04.007

摘要/Abstract

摘要：
摘要：为鉴别社交网络中人脸图像的真假，在ConvNeXt基础上提出一种针对生成式对抗网络（Generative Adversarial Networks, GAN）生成人脸图像的鉴别方法。该方法以ConvNeXt网络结构为主体，利用人脸图像的颜色特征和空间纹理特征，采用多颜色空间多通道组合输入（Multichannel Input, MCI），扩大网络的学习范围；同时引入通道注意力机制和空间注意力机制来凸显真假人脸图像在颜色分量和纹理特征上的差异，进而实现生成人脸图像和真实人脸图像的检测与识别。实验结果表明,使用改进后的ConvNeXt （Improved ConvNeXt, I-ConvNeXt）网络结构对GAN生成人脸图像的识别准确率达到了99.405%，与原ConvNeXt算法相比，平均准确率提高了1.455个百分点。该结果验证了所提方案的可行性、合理性。

关键词: 关键词：生成式对抗网络, 注意力机制, 颜色特征, 生成人脸, 多通道输入

Abstract:
Abstract: In order to distinguish the authenticity of face images in social networks， a recognition method based on ConvNeXt for face image generated by Generative adversarial networks （GAN） is proposed. The ConvNeXt network structure is used as the main body， using the color features and spatial texture features of the face image， and multi-channel combination input （Multichannel Input， MCI） with multi-color space is used to expand the learning range of the network， while channel attention mechanism and spatial attention mechanism are introduced to highlight the differences between real and fake face images in color components and spatial features， and then the detection and recognition of fake face images are achieved. The experimental results show that the recognition accuracy of face images generated by GAN with improved ConvNeXt （I-ConvNeXt） network structure reaches 99.405%， with an average accuracy improvement of 1.455 percentage points compared with the original ConvNeXt algorithm. The results validate the feasibility and reasonableness of the proposed scheme.

Key words: Key words: generative adversarial network, attention mechanism, color features, generated face image, multi-channel input

中图分类号:

TP391

肖梦思1, 吴建斌1, 涂雅蒙1, 袁林锋2. 基于I-ConvNeXt的GAN生成人脸图像鉴别方法[J]. 计算机与现代化, 2024, 0(04): 38-42.

XIAO Mengsi1, WU Jianbin1, TU Yameng1, YUAN Linfeng2. GAN-generated Fake Images Recognition Based on Improved ConvNeXt[J]. Computer and Modernization, 2024, 0(04): 38-42.

参考文献

［1］ KARRAS T， LAINE S， AILA T. A style-based generator architecture for generative adversarial networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021，43（12）:4217-4228.
［2］ KARRAS T， LAINE S， AITTALA M， et al. Analyzing and improving the image quality of styleGAN［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2020:8107-8116.
［3］ MCCLOSKEY S， ALBRIGHT M. Detecting GAN-generated imagery using saturation cues［C］// Proceedings of the 2019 IEEE International Conference on Image Processing （ICIP）. IEEE， 2019:4584-4588.
［4］ NATARAJ L， MOHAMMED T M， CHANDRASEKARAN S， et al. Detecting GAN generated fake images using co-occurrence matrices［J］. arXiv preprint arXiv:1903.06836， 2019.
［5］ LIU Z Z， QI X J， TORR P H S. Global texture enhancement for fake face detection in the wild［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2020:8057-8066.
［6］ HE P S， LI H L， WANG H X. Detection of fake images via the ensemble of deep representations from multi color spaces［C］// Proceedings of the 2019 IEEE International Conference on Image Processing （ICIP）. IEEE， 2019:2299-2303.
［7］ LI H D， LI B， TAN S Q， et al. Identification of deep network generated images using disparities in color components［J］. Signal Processing， 2020，174. DOI: 10.1016/j.sigpro.
2020.107616.
［8］ CHEN B J， LIU X， ZHENG Y H， et al. A robust GAN-generated face detection method based on dual-color spaces and an improved Xception［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022，32（6）:3527-3538.
［9］ WANG R， XU F J F， MA L， et al. FakeSpotter: A simple yet robust baseline for spotting ai-synthesized fake faces［J］. arXiv preprint arXiv:1909.06122， 2019.
［10］ BONETTINI N， BESTAGINI P， MILANI S， et al. On the use of Benford’s law to detect GAN-generated images［C］// Proceedings of the 2020 25th International Conference on Pattern Recognition （ICPR）. IEEE， 2021:5495-5502.
［11］ GUO H， HU S， WANG X， et al. Robust attentive deep neural network for detecting GAN-generated faces［J］. IEEE Access， 2022，10:32574-32583.
［12］ LI Y M， TONG S C， LI T S. Composite adaptive fuzzy output feedback control design for uncertain nonlinear strict-feedback systems with input saturation［J］. IEEE Transactions on Cybernetics， 2015，45（10）:2299-2308.
［13］ LIU Z， MAO H Z， WU C Y， et al. A convNet for the 2020s［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2022:11966-11976.
［14］ LIU Z， LIN Y T， CAO Y， et al. Swin transformer: Hierarchical vision transformer using shifted windows［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. IEEE， 2021:9992-10002.
［15］ HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2016:770-778.
［16］ HENDRYCKS D， GIMPEL K. Gaussian error linear units （GELUs）［J］. arXiv preprint arXiv:1606.08415， 2016.
［17］ BA J L， KIROS J R， HINTON G E. Layer normalization［J］. arXiv preprint arXiv:1607.06450， 2016.
［18］ RAMCHOUN H， GHANOU Y， ETTAOUIL M， et al. Multilayer perceptron: Architecture optimization and training［J］. International Journal of Interactive Multimedia and Artificial Intelligence， 2016，4（1）:26-30.
［19］葛超. 数字图像颜色校正方法研究［D］. 武汉:武汉大学， 2019.
［20］ ZHU X Z， CHENG D Z， ZHANG Z， et al. An empirical study of spatial attention mechanisms in deep networks［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. IEEE， 2019:6687-6696.
［21］梁斌，刘全，徐进，等. 基于多注意力卷积神经网络的特定目标情感分析［J］. 计算机研究与发展， 2017，54（8）:1724-1735.
［22］李梓龙，吕勇，谭国平，等. 基于纹理特征的超声图像乳腺肿块识别［J］. 计算机与现代化， 2021（2）:1-6.
［23］栗伟松，汤敏芳，何征岭，等. 基于自注意力机制和单导联心电信号的自动睡眠分期算法［J］. 计算机与现代化， 2022（12）:50-59.
［24］ LIU Z W， LUO P， WANG X G， et al. Deep learning face attributes in the wild［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision （ICCV）. IEEE， 2015:3730-3738.
［25］ KARRAS T， LAINE S， AILA T. A style-based generator architecture for generative adversarial networks［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2019:4396-4405.
［26］ WANG F， XIANG X， CHENG J， et al. NormFace: L2 hypersphere embedding for face verification［C］// Proceedings of the 25th ACM International Conference on Multimedia. ACM， 2017:1041-1049.
［27］ LIU W Y， WEN Y D， YU Z D， et al. Large-margin softmax loss for convolutional neural networks［J］. arXiv preprint arXiv:1612.02295， 2016.
［28］ LIU W Y， WEN Y D， YU Z D， et al. SphereFace: Deep hypersphere embedding for face recognition［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2017:6738-6746.

[1]	何思达, 陈平华. 基于意图的轻量级自注意力序列推荐模型[J]. 计算机与现代化, 2024, 0(12): 1-9.
[2]	赵晨阳, 薛涛, 刘俊华. 基于改进Stable Diffusion的时尚服饰图案生成[J]. 计算机与现代化, 2024, 0(12): 15-23.
[3]	黄庭培1, 马禄彪1, 李世宝2, 刘建航1. 基于WiFi和原型网络的手势识别方法[J]. 计算机与现代化, 2024, 0(12): 34-39.
[4]	张晓东1, 白广芝1, 李敏1, 李昊洋2. 基于经验小波变换的油气井产量预测模型 [J]. 计算机与现代化, 2024, 0(12): 53-58.
[5]	刘云海1, 冯广1, 吴晓婷2, 杨群2. 复杂施工场景下的安全帽佩戴检测算法[J]. 计算机与现代化, 2024, 0(12): 66-71.
[6]	谷岳, 邓松峰, 沈霁, 穆文涛, 赵恩棋. 基于改进YOLOv8的SAR舰船目标检测算法[J]. 计算机与现代化, 2024, 0(12): 78-83.
[7]	王艳媛, 茅正冲. 中英文场景文本图像的检测和识别算法[J]. 计算机与现代化, 2024, 0(12): 84-90.
[8]	李钧超1, 尤菲1, 张超2, 苏乐乐2, 龚龑2. 基于新型多目标浣熊优化算法的BiLSTM-Attention#br# 预测模型及误差分析[J]. 计算机与现代化, 2024, 0(11): 70-76.
[9]	张宇1, 2, 黎靖1, 2, 马铭1, 2, 王众祥1, 2, 孙妍1, 2. YOLOLW:一个新的轻量级目标检测模型[J]. 计算机与现代化, 2024, 0(11): 91-98.
[10]	祁贤, 刘大铭, 常佳鑫. 基于改进自注意力机制的多视图三维重建[J]. 计算机与现代化, 2024, 0(11): 106-112.
[11]	杨骏1, 胡为1, 朱文福2. 基于改进MobileNetV3的视觉SLAM回环检测算法[J]. 计算机与现代化, 2024, 0(10): 21-26.
[12]	魏学诚1, 江凌云1, 李研2, 何非2. 改进YOLOv5的路侧单目视角小目标检测算法[J]. 计算机与现代化, 2024, 0(10): 27-34.
[13]	杜猛俊1, 李昂1, 童俊1, 钱锦1, 康恺1, 王若丁1, 靳文星2. 基于改进极限学习算法的电力信息数据融合模型[J]. 计算机与现代化, 2024, 0(10): 61-64.
[14]	杨世军1, 狄广义1, 高军1, 陈见飞1, 王耀坤1, 季晓晗2. 跨模态注意力融合和信息感知的情感一致检测[J]. 计算机与现代化, 2024, 0(10): 113-119.
[15]	候聪颖, 杨文清, 王召, 程聪. 基于时频自注意力残差时序卷积网络的语音增强[J]. 计算机与现代化, 2024, 0(09): 20-24.