基于CycleGAN和注意力机制的人脸素描图像转换

doi:10.3969/j.issn.1006-2475.2025.09.009

计算机与现代化 ›› 2025, Vol. 0 ›› Issue (09): 61-66.doi: 10.3969/j.issn.1006-2475.2025.09.009

基于CycleGAN和注意力机制的人脸素描图像转换

（江西财经大学软件与物联网工程学院，江西南昌 330013）

出版日期:2025-09-24 发布日期:2025-09-24
作者简介: 作者简介：林睿姿（2003—），女，江西南昌人，本科生，研究方向：计算机视觉，深度学习，E-mail： rickylin0791@163.com；姚达（2003—），男，江西上饶人，本科生，研究方向：图像处理，机器学习，E-mail： 2741695224@qq.com；戴欣（2004—），女，江西抚州人，本科生，研究方向：计算机视觉，机器学习，E-mail：1377534818@qq.com；沈国誉（2005—），男，江西九江人，本科生，研究方向：图像识别，深度学习，E-mail： 259916010@qq.com；王嘉慧（2004—），女，江西赣州人，本科生，研究方向：图像处理，深度学习，E-mail： 1436969608@qq.com；通信作者：万伟国（1991—），江西上饶人，讲师，博士，研究方向：计算机视觉，深度学习。
基金资助:
基金项目：国家自然科学基金资助项目（62261025）；江西省自然科学基金资助项目（20232BAB212015）

Facial Sketch Image Conversion Based on CycleGAN and Attention Mechanism

（School of Software and Internet of Things Engineering， Jiangxi University of Finance and Economics， Nanchang 330013， China）

Online:2025-09-24 Published:2025-09-24

摘要/Abstract

摘要：
摘要：近年来，人脸素描-照片合成技术因其在执法、刑事及娱乐等领域的需求，成为研究热点。CycleGAN作为一种无需配对图像监督的深度学习模型，擅长图像跨域转换，为素描与照片间的高效转换提供了有力工具。鉴于收集大量成对的人脸图像和素描图像存在较大难度，同时人脸素描图像生成任务中存在图像细节模糊和低清晰度的问题，提出一种改进的CycleGAN模型。本文在CycleGAN模型中ResNet架构的生成器的残差块中引入自注意力机制，使得 CycleGAN的生成器模型能够更有效地学习不同通道特征以及人脸图像中不同区域的重要程度，在处理图像时自动聚焦于面部特征的重要区域，如眼睛、鼻子、嘴巴等，同时增加素描的边缘清晰度与完整度，从而提升生成的人脸素描图像质量。在数据集CUHK和FS2K上进行实验，本文模型的图像质量评估指标结构相似性、峰值信噪比、多尺度结构相似度在数据集CUHK上分别为0.7741、11.7451、0.8504，在数据集FS2K上分别为0.7049、13.2745、0.7970，优于对比的CycleGAN、Pix2Pix、MUNIT、DCLGAN模型。对比实验以及主观视觉结果表明，本文模型能够有效地完成人脸素描化的过程，并生成较高质量的人脸素描图像。

关键词: 关键词：CycleGAN, 生成对抗网络, 注意力机制, 残差网络

Abstract:
Abstract： In recent years， because of its demand in law enforcement， criminal and entertainment fields， face sketch-photo synthesis has become a research hotspot. As deep learning model without paired image supervision， CycleGAN is good at cross-domain image conversion， providing a powerful tool for efficient conversion between sketches and photos. In view of the difficulty of collecting a large number of pairs of face images and sketch images， and the problems of fuzzy and low definition image details in face sketch image generation， an improved CycleGAN model is proposed. In this paper， the self-attention mechanism is introduced into the residual block of the ResNet architecture generator in the CycleGAN model， so that the CycleGAN generator model can learn the features of different channels and the importance of different regions in the face image more effectively， and automatically focus on the important regions of facial features， such as eyes， nose， mouth， etc.， during image processing. At the same time， the edge clarity and integrity of the sketch are increased， so as to improve the quality of the generated face sketch image. The proposed model is implemented on the datasets CUHK and FS2K. The structural similarity， peak signal-to-noise ratio and multi-scale structural similarity are 0.7741， 11.7451 and 0.8504 respectively on CUHK and 0.7049， 13.2745 and 0.7970 respectively on FS2K. These results outperformed the comparison models of CycleGAN， Pix2Pix， MUNIT， and DCLGAN. According to the comparison experiment and subjective vision， the proposed model can effectively complete the process of face sketching and generate higher quality face sketching images.

Key words: Key words： CycleGAN； generative adversarial network； attention mechanism； residual network ,

中图分类号:

中图分类号：TP391

林睿姿, 姚达, 戴欣, 沈国誉, 王嘉慧, 万伟国. 基于CycleGAN和注意力机制的人脸素描图像转换[J]. 计算机与现代化, 2025, 0(09): 61-66.

LIN Ruizi, YAO Da, DAI Xin, SHEN Guoyu, WANG Jiahui, WAN Weiguo. Facial Sketch Image Conversion Based on CycleGAN and Attention Mechanism[J]. Computer and Modernization, 2025, 0(09): 61-66.

参考文献

［1］ YANG M， CHEN W， WANG Z， et al. Face sketching in the wild： A survey［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021，43（5）：1600-1619.
［2］ MIRZA M， OSINDERO A S， BETHGE M， Image style transfer using convolutional neural networks［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2016：2414-2423.
［3］ CHOI Y， UH Y， YOO J， HA J W. StarGAN v2： Diverse image synthesis for multiple domains［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2020：8185-8194.
［4］ ISOLA P， ZHU J Y， ZHOU T H， et al. Image-to-image translation with conditional adversarial networks［J］. arXiv preprint arXiv：1611.07004， 2018.
［5］ ZHU J Y， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks［J］. arXiv preprint arXiv：1703.10593， 2018.
［6］ GATYS L A， ECKER A S， BETHGE M. Image style transfer using convolutional neural networks［C］// Proceedings of 2016 1EEE Conference on Computer Vision and Pattern Recognition. IEEE， 2016：2414-2423.
［7］ GOODFELLOW L， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［C］// Advances on Neurainformation Processing Systems. Springer， 2014：2672-268.
［8］ TAN M， LE Q V. EfficientNet： Rethinking model scaling for convolutional neural networks［C］// Proceedings of the 36th International Conference on Machine Learning. PMLR， 2019：6105-6114.
［9］ IOFFE S. Batch renormalization： Towards reducing minibatch dependence in batch-normalized models［C］// Advances on Neural Information Processing Systems.Springer， 2017：1945-1953.
［10］ RAMACHANDRAN P， ZOPH B， LE Q V. Searching for activation functions［J］. arXiv preprint arXiv：1710.05941， 2017.
［11］ HE K M， ZHANG X Y， REN S Q， et al. Improved residual networks（iResNet）［J］. arXiv preprint arXiv：2002.10543， 2020.
［12］ WANG T C， LIU M Y， ZHU J Y， et al. High-resolution image synthesis and semantic manipulation with conditional GANs［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2018：8798-8807.
［13］ ISOLA P， ZHU J Y， ZHOU T， et al. Image-to-image translation with conditional adversarial networks［C］// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2017：1125-1134.
［14］ VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［J］. arXiv preprint arXiv：1706.03762， 2017.
［15］ HU J， SHEN L， ALBANIE S， et al. Squeeze-and-excitation networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2019，42（8）：2011-2023.
［16］ FU J， LIU J， TIAN H J， et al. Dual attention network for scene segmentation［C］// Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2019：3146-3154.
［17］ WANG X， GIRSHICK R， GUPTA A， et al. Non-local neural networks［C］// Proceedings of 2018 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2018：7794-7803.
［18］ ZHANG H， GOODFELLOW I， METAXAS D， et al. Self-attention generative adversarial networks［C］// International Conference on Machine Learning. PMLR， 2019：7354-7363.
［19］ WANG M Q， LU S Y， ZHU D Y， et al. A high-speed and low-complexity architecture for Softmax function in deep learning［C］// 2018 IEEE Asia Pacific Conference on Circuits and Systems （APCCAS）. IEEE， 2018：223-226.
［20］ WANG X G， TANG X O. Face photo-sketch synthesis and recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence （PAMI）， 2009，31（11）：1955-1967.
［21］ PING D F， ZILING H， PENG Z， et al. Facial-sketch synthesis： A new challenge［J］. Machine Intelligence Research， 2022，19（4）：257-287.
［22］ HAN J L， SHOEIBY M， PETERSSON L， et al. Dual contrastive learning for unsupervised image-to-image translation［J］. arXiv preprint arXiv：2104.07689， 2021.
［23］ HUANG X， LIU M Y， BELONGIE S， et al. Multimodal unsupervised image-to-image translation［J］. arXiv preprint arXiv：1804.04732， 2018.
［24］ KINGMA D P， BA J L. Adam： A method for stochastic optimization［J］. arXiv preprint arXiv：1412.6980， 2014.
［25］ WANG Z， BOVIK A C. A universal image quality index［J］. IEEE Signal Processing Letters， 2002，9（3）：81-88.
［26］ WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： From error visibility to structural similarity［J］. IEEE Transactions on Image Processing， 2004，13（4）：600-612.
［27］ Richter T， Kim K J. A MS-SSIM optimal JPEG 2000 encoder［C］// Proceedings of the 2009 Data Compression Conference. ACM， 2009：401-410.

[1]	郭金豪, 王峰萍, 王浩琦. 面向密集场景的PB-YOLOv7行人检测方法[J]. 计算机与现代化, 2025, 0(09): 14-19.
[2]	刘成, 冯广. 基于双重注意力机制的CNN-BiLSTM和LightGBM股票预测[J]. 计算机与现代化, 2025, 0(09): 97-103.
[3]	景清武, 陈洪军, 高翟, 周美美. 目标驱动的面向推荐的对话生成方法[J]. 计算机与现代化, 2025, 0(08): 16-23.
[4]	苏衍森, 牟莉. 改进YOLOv8的课堂行为检测算法[J]. 计算机与现代化, 2025, 0(08): 76-81.
[5]	高莉莎1, 彭国政2, 王翀1, 韩硕1, 项楠1, 张启哲2, 朱跃飞3, 程旭3. 基于YOLOv5的双主干网络绝缘子缺陷检测算法[J]. 计算机与现代化, 2025, 0(08): 82-88.
[6]	蔡博涵, 刘俊. 基于优化Transformer的长短期空气污染物浓度预测[J]. 计算机与现代化, 2025, 0(07): 55-62.
[7]	焦乐岩, 朱欣娟. 基于自注意力机制说话人编码器与SA-Decoder的语音克隆方法[J]. 计算机与现代化, 2025, 0(07): 69-76.
[8]	饶弘宇1, 陈馨2, 陈胜3, 夏天3, 沈力4, 吕广强5. 基于改进鲸鱼算法的Bi-LSTM电力负荷预测[J]. 计算机与现代化, 2025, 0(07): 77-82.
[9]	魏青松1, 王晓峻2, 魏源1, 曾尚琦1, 方园1. HGAT：基于混合图注意力网络的多变量时序异常检测[J]. 计算机与现代化, 2025, 0(07): 97-105.
[10]	谢培栋, 程远志, 许浩天. 海洋生物层级分类算法[J]. 计算机与现代化, 2025, 0(06): 21-27.
[11]	孙毅博, 牟莉. 基于深度学习的无人机航拍违建识别算法[J]. 计算机与现代化, 2025, 0(06): 65-70.
[12]	郝荣荣1, 马巧梅1, 谭亚军1, 石桓印2. 基于可变形卷积与注意力机制的复杂火灾检测[J]. 计算机与现代化, 2025, 0(06): 79-85.
[13]	秦宏峥1, 2, 王同罕1, 2, 贾惠珍1, 2. 结合多尺度交互与跨通道注意的图像质量评价[J]. 计算机与现代化, 2025, 0(06): 86-91.
[14]	王承先1, 赵晴2 . 基于CR-BACC模型的彝文命名实体识别方法[J]. 计算机与现代化, 2025, 0(05): 28-35.
[15]	池碧蔚1, 孙瑞2. 基于Transformer架构的DDoS攻击检测方法[J]. 计算机与现代化, 2025, 0(05): 36-40.

基于CycleGAN和注意力机制的人脸素描图像转换

Facial Sketch Image Conversion Based on CycleGAN and Attention Mechanism

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价