全局跨层交互网络学习细粒度图像特征表示

doi:10.3969/j.issn.1006-2475.2024.03.016

摘要/Abstract

摘要： 摘要：细粒度图像分类中的关键任务是提取极具鉴别性的特征。在以往的模型中，往往采用双线性池化技术及其变种来解决这个问题。然而，大多数双线性池化及其变体会忽略层内或层间特征交互，这种不充分的交互易导致鉴别信息丢失或使鉴别信息包含过多冗余信息。针对上述问题，设计一种新的学习细粒度图像特征及特征表示的方法——全局跨层交互（GCI）网络。提出的分层双三次池化方法具有平衡提取鉴别信息和过滤冗余信息能力，并能同时建模层内和层间的特征交互。进一步分析层间交互计算结构，发现易于将交互计算结构与现有的通道注意力机制结合形成交互注意力机制，以提升骨干网络的关键特征提取能力。最后，将交互注意力机制构成的特征提取网络与双三次池化方法融合得到GCI，用来提取鲁棒的细粒度图像特征表示。在3个细粒度基准数据集上进行实验，实验结果表明分层双三次池化实现了分层交互池化框架中最优效果，即在CUB-200-2011、Stanford-Cars、FGVC-Aircraft上分别达到了87.4%、93.2%和92.1%的分类精度，将交互注意力机制融入后分类精度进一步提升至88.5%、95.1%和93.9%。

关键词: 关键词：细粒度图像识别, 全局跨层交互网络, 分层双三次池化, 层内层间特征交互, 交互注意力机制

Abstract: Abstract： The key task of fine-grained visual categorization is to extract highly discriminative features. In previous models， bilinear pooling techniques and their variants are often combined to solve this problem. However， most bilinear pooling and its variants ignore intra-layer or inter-layer feature interactions， and such insufficient interactions can easily lead to the loss of discriminative information or make the discriminative information contain too much redundant information. Aiming at the above problems， a new method for learning fine-grained image features and feature representations—Global Cross-layer Interaction （GCI） network is designed. The proposed hierarchical bicubic pooling method balances the ability of extracting discriminative information and filtering redundant information and can simultaneously model the feature interaction within and between layers. The interactive computing structure is combined with the existing channel attention mechanism to form an interactive attention mechanism to improve the key feature extraction capability of the backbone network. Finally， the feature extraction network composed of interactive attention mechanism is fused with bicubic pooling method to obtain GCI， and robust fine-grained image feature representation is extracted. Experiments are carried out on three fine-grained benchmark datasets， and the experimental results show that the hierarchical bicubic pooling achieves the best results in the hierarchical interactive pooling framework， namely the classification accuracy of CUB-200-2011， Stanford-Cars and FGVC-Aircraft is 87.4%， 93.2% and 92.1%， respectively， and the classification accuracy is further improved to 88.5%， 95.1% and 93.9% after the interactive attention mechanism is integrated.

Key words: Key words： fine-grained image recognition, global cross-layer interaction networks, hierarchical bicubic pooling, intra and inter layer feature interactions, interactive attention mechanism

中图分类号:

TP391

张高义1, 徐杨1, 2, 曹斌1, 2, 石进1. 全局跨层交互网络学习细粒度图像特征表示[J]. 计算机与现代化, 2024, 0(03): 97-104.

ZHANG Gao-yi1, XU Yang1, 2, CAO Bin1, 2, SHI Jin1. Global Cross-layer Interaction Networks Learning Fine-grained Images Features Representation[J]. Computer and Modernization, 2024, 0(03): 97-104.

参考文献

［1］ ZHENG H L， FU J L， ZHA Z J， et al. Looking for the devil in the details： Learning trilinear attention sampling network for fine-grained image recognition［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2019：5012-5021.
［2］ LIU C B， XIE H T， ZHA Z J， et al. Filtration and distillation： Enhancing region attention for fine-grained visual categorization［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020，34（7）：11555-11562.
［3］ KONIUSZ P， ZHANG H. Power normalizations in fine-grained image， few-shot image and graph classification［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021，44（2）：591-609.
［4］ SUN Z R， YAO Y Z， WEI X S， et al. Webly supervised fine-grained recognition： Benchmark datasets and an approach［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. IEEE， 2021：10602-10611.
［5］ WANG W Y， CUI Y C， LI G S， et al. A self-attention-based destruction and construction learning fine-grained image classification method for retail product recognition［J］. Neural Computing and Applications， 2020，32（18）：14613-14622.
［6］ FAN X J， LUO P， MU Y， et al. Leaf image based plant disease identification using transfer learning and feature fusion［J］. Computers and Electronics in Agriculture， 2022，196（12）. DOI：10.1016/j.compag.2022.106892.
［7］江卓，吴茜，李贺武，等. 互联网端到端多路径传输跨层优化研究综述［J］. 软件学报， 2019，30（2）：302-322.
［8］ LIN T Y， ROYCHOWDHURY A， MAJI S. Bilinear CNN models for fine-grained visual recognition［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. IEEE， 2015：1449-1457.
［9］ YU C J， ZHAO X Y， ZHENG Q， et al. Hierarchical bilinear pooling for fine-grained visual recognition［C］// Proceedings of the 2018 European Conference on Computer Vision （ECCV）. Springer， 2018：574-589.
［10］ MIN S B， YAO H T， XIE H T， et al. Multi-objective matrix normalization for fine-grained visual recognition［J］. IEEE Transactions on Image Processing， 2020，29：4996-5009.
［11］ TAN M， WANG G J， ZHOU J， et al. Fine-grained classification via hierarchical bilinear pooling with aggregated slack mask［J］. IEEE Access， 2019，7：117944-117953.
［12］ TAN M， YUAN F， YU J， et al. Fine-grained image classification via multi-scale selective hierarchical biquadratic pooling［J］. ACM Transactions on Multimedia Computing， Communications， and Applications （TOMM），2022，18（增刊1）. DOI：10.1145/3492221.
［13］申志军，穆丽娜，高静，等. 细粒度图像分类综述［J］. 计算机应用， 2023，43（1）：51-60.
［14］缪永伟，张新杰，任瀚实，等. 基于通道多尺度融合的场景深度图超分辨率网络［J］. 计算机辅助设计与图形学学报， 2023，35（1）：37-47.
［15］周明. 基于卷积神经网络的人脸识别方法研究［J］. 中国新通信， 2022，24（21）：47-49.
［16］ WANG J Z， LI N Y， LUO Z M， et al. High-order-interaction for weakly supervised fine-grained visual categorization［J］. Neurocomputing， 2021，464：27-36.
［17］马瑶，智敏，殷雁君，等. CNN和Transformer在细粒度图像识别中的应用综述［J］. 计算机工程与应用， 2022，58（19）：53-63.
［18］ HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2016：770-778.
［19］ LI P H， XIE J T， WANG Q L， et al. Towards faster training of global covariance pooling networks by iterative matrix square root normalization［C］// Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2018：947-955.
［20］ HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2018：7132-7141.
［21］刘宇泽，孙涵，李明洋，等. 细粒度图像识别任务的多层和区域特征融合模型［J］. 中国农机化学报， 2023，44（1）：199-207.
［22］ GAO Z L， XIE J T， WANG Q L， et al. Global second-order pooling convolutional networks［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2019：3024-3033.
［23］ WANG Q L， WU B G， ZHU P F， et al. ECA-Net： Efficient channel attention for deep convolutional neural networks［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.IEEE， 2020：11531-11539.
［24］ WAH C， BRANSON S， WELINDER P， et al. The caltech-ucsd birds-200-2011 dataset［EB/OL］. ［2023-03-25］. https：//authors.library.caltech.edu/records/cvm3y-5hh21.
［25］ KRAUSE J， STARK M， DENG J， et al. 3D object representations for fine-grained categorization［C］// Proceedings of the 2013 IEEE International Conference on Computer Vision Workshops. IEEE， 2013：554-561.
［26］ MAJI S， RAHTU E， KANNALA J， et al. Fine-grained visual classification of aircraft［J］. arXiv preprint arXiv：1306.5151， 2013.
［27］ JI R Y， WEN L Y， ZHANG L B， et al. Attention convolutional binary neural tree for fine-grained visual categorization［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2020：10468-10477.
［28］ DING Y， MA Z Y， WEN S G， et al. AP-CNN： Weakly supervised attention pyramid convolutional neural network for fine-grained visual classification［J］. IEEE Transactions on Image Processing， IEEE， 2021，30：2826-2836.

[1]	郑久超, 赵新元. 基于主题与描述信息的实体链接方法[J]. 计算机与现代化, 2024, 0(12): 10-14.
[2]	张昆1, 张永伟1, 吴永城1, 张笑文2, 翟世臣2. 基于大模型的设备故障知识图谱自动构建方法[J]. 计算机与现代化, 2024, 0(11): 46-53.
[3]	张宇1, 2, 黎靖1, 2, 马铭1, 2, 王众祥1, 2, 孙妍1, 2. YOLOLW:一个新的轻量级目标检测模型[J]. 计算机与现代化, 2024, 0(11): 91-98.
[4]	杜猛俊1, 李昂1, 童俊1, 钱锦1, 康恺1, 王若丁1, 靳文星2. 基于改进极限学习算法的电力信息数据融合模型[J]. 计算机与现代化, 2024, 0(10): 61-64.
[5]	焦一凯1, 2, 朱欣娟1, 2. 公共文化资源标签推荐方法[J]. 计算机与现代化, 2024, 0(10): 107-112.
[6]	杨俞沣1, 2, 夏小云2, 陈泽丰3, 廖伟志2, 李积武2. 融合多策略蜣螂优化算法的外卖订单配送路径优化[J]. 计算机与现代化, 2024, 0(09): 25-32.
[7]	马钰, 杨勇, 任鸽, 帕力旦·吐尔逊. 基于GCN和微调BERT的作文自动评分方法[J]. 计算机与现代化, 2024, 0(09): 33-37.
[8]	刘文亮1, 吴飞1, 何德明1, 赵维伟2, 潘建宏3. 基于相异度矩阵的碎片化回复文本聚类方法[J]. 计算机与现代化, 2024, 0(09): 56-60.
[9]	高猛, 曾宪文. 基于Circle映射和自适应t分布变异改进的鹈鹕优化算法[J]. 计算机与现代化, 2024, 0(09): 69-73.
[10]	余晨曦, 谷林. 基于人体骨架的电梯内异常行为识别预警[J]. 计算机与现代化, 2024, 0(09): 114-120.
[11]	王妍, 丛鑫, 訾玲玲. 结合知识追踪和图卷积的知识概念推荐[J]. 计算机与现代化, 2024, 0(08): 17-23.
[12]	付书岗1, 2, 3. 基于改进YOLOX和新型数据关联方式的无人机#br# 多目标跟踪方法[J]. 计算机与现代化, 2024, 0(08): 59-66.
[13]	魏嘉焜, 王家润. 手势识别与交互综述[J]. 计算机与现代化, 2024, 0(08): 67-76.
[14]	王涛1, 2, 黄丹1, 2, 刘禅奕1, 2, 朱桃1, 2. 基于YOLOv5s的无人机图像车辆检测[J]. 计算机与现代化, 2024, 0(08): 108-113.
[15]	杨江1, 孙晓梅1, 许韬2. 基于业务内容构建股票关联关系的股价预测[J]. 计算机与现代化, 2024, 0(07): 21-25.