基于多尺度语义调整的任意风格迁移方法

doi:10.3969/j.issn.1006-2475.2025.09.011

摘要/Abstract

摘要：
摘要：针对现有的任意风格迁移模型无法平衡生成图像中风格信息和内容信息的问题，本文提出一种改进的任意风格迁移模型。该模型在实施风格转化前整合了一个多尺度语义调整模块。此模块通过对风格特征映射和内容特征映射进行深度语义调整，强化关键特征表达，以改善风格迁移后图像内容结构与风格特征难以协调的问题。另外，本文还提出一种语义调整损失函数，旨在使网络能更精确地保留原始图像的内容结构，并更加细腻地迁移目标风格图片的风格信息。实验结果表明，本文所提出的方法在较好地保留图片内容信息的基础上，进一步提升了风格信息的迁移效果。

关键词: 关键词：任意风格迁移, 多尺度语义调整, 强化关键特征表达, 语义调整损失函数

Abstract:
Abstract: Addressing the challenge of balancing style and content information in existing arbitrary style transfer models， this paper introduces an improved model for arbitrary style transfer. The model incorporates a multi-scale semantic adjustment module before the style transformation process. This module deeply adjusts style and content feature mappings to enhance key feature expressions， improving the coherence of image content structure and style features after style transfer. Additionally， a semantic adjustment loss function is proposed to precisely preserve the original image’s content structure and delicately transfer the target style’s features. The experimental results show that this method not only maintains the content information but also enhances the style transfer effects.

Key words: Key words: arbitrary style transfer, multi-scale semantic adjustment, enhance key feature expressions, semantic adjustment loss

中图分类号:

中图分类号：TP391

祝露露, 谷林. 基于多尺度语义调整的任意风格迁移方法[J]. 计算机与现代化, 2025, 0(09): 73-78.

ZHU Lulu, GU Lin. Arbitrary Style Transfer Method with Multi-scale Semantic Adaptation[J]. Computer and Modernization, 2025, 0(09): 73-78.

参考文献

［1］刘冰. 基于卷积神经网络的图像风格迁移算法综述［J］. 新疆师范大学学报（自然科学版）， 2022，41（4）:1-7.
［2］廉露，田启川，谭润，等. 基于神经网络的图像风格迁移研究进展［J］. 计算机工程与应用， 2024，60（9）:30-47.
［3］ GATYS L A， ECKER A S， BETHGE M. A neural algorithm of artistic style［J］. arXiv preprint arXiv:1508.06576，
2015.
［4］ JOHNSON J， ALAHI A， FEI-FEI L. Perceptual losses for real-time style transfer and super-resolution［C］// Proceedings of 2016 14th European Conference on Computer Vision. Springer， 2016:694-711.
［5］ HUANG X， BELONGIE S. Arbitrary style transfer in real-time with adaptive instance normalization［C］// Proceedings of 2017 IEEE International Conference on Computer Vision. IEEE， 2017:1501-1510.
［6］ PARK D Y， LEE K H. Arbitrary style transfer with style-attentional networks［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2019:5880-5888.
［7］ ZHANG Y B， LI M H， LI R H， et al. Exact feature distribution matching for arbitrary style transfer and domain generalization［C］// Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2022:8035-8045.
［8］ DENG Y Y， TANG F， DONG W M， et al. Arbitrary style transfer via multi-adaptation network［C］// Proceedings of the 28th ACM International Conference on Multimedia. ACM， 2020:2719-2727.
［9］ GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks［J］. Communications of the ACM， 2020，63（11）:139-144.
［10］ ZHU J Y， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks［C］// Proceedings of 2017 IEEE International Conference on Computer Vision. IEEE， 2017:2223-2232.
［11］ CHEN Y， LAI Y K， LIU Y J. CartoonGAN: Generative adversarial networks for photo cartoonization［C］// Proceedings of 2018 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2018:9465-9474.
［12］ KARRAS T， LAINE S， AILA T. A style-based generator architecture for generative adversarial networks［C］// Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2019:4401-4410.
［13］ YANG S， JIANG L M， LIU Z W， et al. Pastiche master: Exemplar-based high-resolution portrait style transfer［C］// Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2022:7693-7702.
［14］ LI Y J， FANG C， YANG J M， et al. Universal style transfer via feature transforms［J］. arXiv preprint arXiv:1705.08086，
2017.
［15］ SHENG L， LIN Z Y， SHAO J， et al. Avatar-Net: Multi-scale zero-shot style transfer by feature decoration［C］// Proceedings of 2018 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2018:8242-8250.
［16］ JING Y C， LIU X， DING Y K， et al. Dynamic instance normalization for arbitrary style transfer［J］. AAAI Conference on Artificial Intelligence， 2020，34（4）:4369-4376.
［17］ CHANDRAN P， ZOSS G， GOTARDO P， et al. Adaptive convolutions for structure-aware style transfer［C］// Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2021:7972-7981.
［18］ LI W T， RAHUL V， RAMYA S P. Artistic arbitrary style transfer［J］. arXiv preprint arXiv: 2212.11376， 2022.
［19］ DUMOULIN V， SHLENS J， KUDLUR M. A learned representation for artistic style［J］. arXiv preprint arXiv:1610.
07629， 2016.
［20］祁宣豪，智敏. 图像处理中注意力机制综述［J］. 计算机科学与探索， 2024，18（2）:345-362.
［21］米志鹏. 基于注意力和特征分布匹配的图像风格迁移方法研究［D］. 马鞍山:安徽工业大学， 2022.
［22］杨玥，冯涛，梁虹，等. 融合交叉注意力机制的图像任意风格迁移［J］. 计算机科学， 2022，49（增1）:345-352+396.
［23］谭润，田启川，廉露，等. 融合超分辨率重构的图像任意风格迁移［J］. 计算机工程与应用， 2024，60（15）:170-179.
［24］李鑫，普园媛，赵征鹏，等. 艺术美感增强的图像任意风格迁移［J］. 计算机科学， 2024，51（9）:129-139.
［25］张彩灯，徐杨，莫寒，等. 融合多注意力机制的语义调整风格迁移网络［J］. 计算机工程与应用， 2025，61（8）:204-214.
［26］ SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［J］. arXiv preprint arXiv:1409.1556， 2014.
［27］ OUYANG D L， HE S， ZHANG G Z， et al. Efficient multi-scale attention module with cross-spatial learning［C］// ICASSP 2023-2023 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. IEEE，
2023:1-5.
［28］ YEO C， TAN H L， TAN Y H. On rate distortion optimization using SSIM［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2013，23（7）:1170-1181.
［29］ IOANNOU E， STEVE M. Valuation in neural style transfer: A review［J］. arXiv preprint arXiv:2401.17109， 2024.

[1]	罗德艳, 徐杨, 左锋云, 张永丹. 改进YOLOv8的轻量化垃圾分类检测[J]. 计算机与现代化, 2025, 0(09): 35-42.
[2]	林睿姿, 姚达, 戴欣, 沈国誉, 王嘉慧, 万伟国. 基于CycleGAN和注意力机制的人脸素描图像转换[J]. 计算机与现代化, 2025, 0(09): 61-66.
[3]	杨添顺1, 宋焕生1, 梁浩翔2, 刘浩楠1, 马辛洲1, 孙士杰1, 张绍阳1. 基于视频时序特征的多模态隧道火灾检测[J]. 计算机与现代化, 2025, 0(09): 79-89.
[4]	李谡, 李德权, 庆宇. 基于Mask约束的单视图3D头发建模[J]. 计算机与现代化, 2025, 0(09): 90-96.
[5]	刘成, 冯广. 基于双重注意力机制的CNN-BiLSTM和LightGBM股票预测[J]. 计算机与现代化, 2025, 0(09): 97-103.
[6]	尚博祥1, 郭晓艳2, 郑剑1, 孙先范2. 面向云边协同多源传输数据的知识联合提取[J]. 计算机与现代化, 2025, 0(09): 104-108.
[7]	成梦圆, 李艳辉, 吕天赐, 赵玉鑫, 黄臣. FedLDP：本地化差分隐私下一种高效联邦学习方法[J]. 计算机与现代化, 2025, 0(09): 109-118.
[8]	石丰源１, 2, 毛毅3, 焦磊4. 基于异质信息网络的图书跨域推荐方法[J]. 计算机与现代化, 2025, 0(08): 24-30.
[9]	李岩, 冒佳明, 王梓莹, 顾智敏, 姜海涛. 基于图神经网络的异常事件预测方法[J]. 计算机与现代化, 2025, 0(08): 39-47.
[10]	程钰雯, 景义君, 时自成, 荆长强, 郭锋, 武传坤. 基于联邦学习的数据隐私保护方案[J]. 计算机与现代化, 2025, 0(08): 63-69.
[11]	高莉莎1, 彭国政2, 王翀1, 韩硕1, 项楠1, 张启哲2, 朱跃飞3, 程旭3. 基于YOLOv5的双主干网络绝缘子缺陷检测算法[J]. 计算机与现代化, 2025, 0(08): 82-88.
[12]	胡少文, 黄浪鑫, 余里辉, 施炜利, 姜南, 孙武, 罗澍寰. 改进遗传算法优化小波神经网络的纯牛奶识别[J]. 计算机与现代化, 2025, 0(08): 97-103.
[13]	李刚, 孙少斌, 孔伟, 赵磊. 基于鸿蒙系统的用户侧储能多目标协调控制研究[J]. 计算机与现代化, 2025, 0(08): 119-126.
[14]	孙凯杰, 胡继礼 . 多模态大语言模型在色素性皮肤病变诊断中的应用[J]. 计算机与现代化, 2025, 0(07): 21-27.
[15]	何丽丽1, 2, 张成林1, 2, 张磊1, 2, 曹明增1, 2 . 基于多匿名器架构的用户位置双重隐私保护算法 [J]. 计算机与现代化, 2025, 0(07): 33-42.