适用于网络新闻数据的未配对跨模态哈希方法

doi:10.3969/j.issn.1006-2475.2024.03.009

摘要/Abstract

摘要： 摘要：针对当前大部分跨模态哈希方法只能在提供完全配对的实例时才能训练，而不适用于现实世界中存在的大量未配对数据这一情况，提出一种基于网络新闻数据的未配对跨模态哈希方法。首先，构建特征融合网络处理未配对的训练数据，补充和完善模态信息，并采用对抗性损失加强学习的公共表示。其次，使用亲和矩阵对样本的特征分布和生成的二进制码进行优化，使样本之间的语义关系更加明确。最后，添加类别预测损失以提高二进制码的判别能力。在真实的网络新闻数据集上分别进行了配对场景和非配对场景的实验，实验结果表明了本文提出的方法具有扩展到实际应用中的能力。

关键词: 关键词：跨模态哈希, 特征融合, 未配对数据, 对抗性学习

Abstract: Abstract： Most of the current cross-modal Hashing methods can only be trained when fully paired instances are provided， and are not suitable for a large number of unpaired data in the real world. In order to solve this problem， an unpaired cross-modal Hashing method for Web news data is proposted. Firstly， a feature fusion network is constructed to process the unpaired training data， the modal information is supplemented and improved， and the adversarial loss is used to strengthen the common representation of learning. Secondly， the affinity matrix optimizes the feature distribution of samples and the generated binary codes， so that the semantic relationship between samples is more explicit. Finally， we add a class prediction loss to enhance the discrimination ability of binary codes. Experiments on real network news datasets with paired scenes and unpaired scenes respectively， the results show that the proposed method can be extended to practical applications.

Key words: Key words： cross-modal Hashing, feature fusion, unpaired data, adversarial learning

中图分类号:

TP391

武昭盟1, 张成刚2. 适用于网络新闻数据的未配对跨模态哈希方法[J]. 计算机与现代化, 2024, 0(03): 54-60.

WU Zhao-meng1, ZHANG Cheng-gang2. Unpaired Cross-modal Hashing Method for Web News Data[J]. Computer and Modernization, 2024, 0(03): 54-60.

参考文献

［1］徐文婉，周小平，王佳. 跨模态检索技术研究综述［J］. 计算机工程与应用， 2022，58（23）：12-23.
［2］ BRONSTEIN M M， BRONSTEIN A M， MICHEL F， et al. Data fusion through cross-modality metric learning using similarity-sensitive hashing［C］// Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2010：3594-3601.
［3］ SONG J K， YANG Y， YANG Y， et al. Inter-media Hashing for large-scale retrieval from heterogeneous data sources［C］// Proceedings of the 2013 ACM SIGMOD International Conference on Management of Data. 2013：785-796.
［4］ SU S P， ZHONG Z S， ZHANG C. Deep joint-semantics reconstructing Hashing for large-scale unsupervised cross-modal retrieval［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019：3027-3035.
［5］ DING G G， GUO Y C， ZHOU J L. Collective matrix factorization hashing for multimodal data［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014：2075-2082.
［6］ LIU S， QIAN S S， GUAN Y， et al. Joint-modal distribution-based similarity hashing for large-scale unsupervised deep cross-modal retrieval［C］// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2020：1379-1388.
［7］ ZHANG M J， LI J Z， ZHANG H X， et al. Deep semantic cross modal Hashing with correlation alignment［J］. Neurocomputing， 2020，381（8）：240-251.
［8］ XIE D， DENG C， LI C， et al. Multi-task consistency-preserving adversarial hashing for cross-modal retrieval［J］. IEEE Transactions on Image Processing， 2020，29：3626-3637.
［9］ ZHANG P F， LI Y， HUANG Z， et al. Aggregation-based graph convolutional hashing for unsupervised cross-modal retrieval［J］. IEEE Transactions on Multimedia， 2021，24：466-479.
［10］刘渭滨，邹智元，邢薇薇. 模式分类中的特征融合方法［J］. 北京邮电大学学报， 2017，40（4）：1-8.
［11］ SRIVASTAVA N， SALAKHUTDINOV R. Multimodal learning with deep boltzmann machines［J］. The Journal of Machine Learning Research， 2014，15（1）：2949-2980.
［12］ HU Z K， LIU X， WANG X Z， et al. Triplet fusion network Hashing for unpaired cross-modal retrieval［C］// Proceedings of the 2019 International Conference on Multimedia Retrieva. 2019：141-149.
［13］ GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks［J］. Communications of the ACM， 2020，63（11）：139-144.
［14］ WANG B K， YANG Y， XU X， et al. Adversarial cross-modal retrieval［C］// Proceedings of the 25th ACM International Conference on Multimedia. 2017：154-162.
［15］ ZHANG X， ZHOU S Y， FENG J S， et al. Hashgan： Attention-aware deep adversarial Hashing for cross modal retrieval［J］. arXiv preprint arXiv：171109347， 2017.
［16］ JIANG Q Y， LI W J. Deep cross-modal Hashing［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017：3270-3278.
［17］ GU W， GU X Y， GU J Z， et al. Adversary guided asymmetric Hashing for cross-modal retrieval［C］// Proceedings of the 2019 on International Conference on Multimedia Retrieval. 2019：159-167.
［18］ ZHANG J， PENG Y X， YUAN M K. SCH-GAN： Semi-supervised cross-modal Hashing by generative adversarial network［J］. IEEE Transactions on Cybernetics， 2018，50（2）：489-502.
［19］ RASIWASIA N， COSTA PEREIRA J， COVIELLO E， et al. A new approach to cross-modal multimedia retrieval［C］// Proceedings of the 18th ACM International Conference on Multimedia. 2010：251-260.
［20］ EVERINGHAM M， VAN GOOL L， WILLIAMS C K I， et al. The pascal visual object classes （voc） challenge ［J］. International Journal of Computer Vision， 2009，88（2）：303-338.
［21］ ZHONG F M， CHEN Z K， MIN G Y. Deep discrete cross-modal Hashing for cross-media retrieval［J］. Pattern Recognition， 2018，83：64-77.
［22］ SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［J］. arXiv preprint arXiv：14091556， 2014.
［23］ LE Q V， MIKOLOV T. Distributed representations of sentences and documents［J］. arXiv preprint arXiv：1405.4053，
2014.
［24］ LI K P， ZHANG Y L， LI K， et al. Visual semantic reasoning for image-text matching［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019：390-406.
［25］ CHEN H， DING G G， LIU X D， et al. IMRAM： Iterative matching with recurrent attention memory for cross-modal image-text retrieval［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020：12652-12660.
［26］ LU H Y， FEI N Y， HUO Y Q， et al. COTS： Collaborative two-stream vision-language pre-training model for cross-modal retrieval［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022：15671-15680.
［27］ ZHENG Y， ZHANG X. Heterogeneous interactive learning network for unsupervised cross-modal retrieval［C］// Proceedings of the Asian Conference on Computer Vision. 2022.

[1]	张思敏, 刘新妹, 殷俊龄, 李宝玲. 基于YOLOv7改进的PCB缺陷检测方法[J]. 计算机与现代化, 2024, 0(12): 45-52.
[2]	王海洋, 弓同鑫, 杨锦涛, 陈再龙. 多尺度时间编码的工业园区短期负荷预测[J]. 计算机与现代化, 2024, 0(12): 59-65.
[3]	马钰, 杨勇, 任鸽, 帕力旦·吐尔逊. 基于GCN和微调BERT的作文自动评分方法[J]. 计算机与现代化, 2024, 0(09): 33-37.
[4]	郑尚坡1, 陈德富1, 李坚利2, 林国贤2, 王星平3. 基于改进YOLOv5s和DeepSORT的行人跟踪算法[J]. 计算机与现代化, 2024, 0(08): 54-58.
[5]	庞梅, 汪珙, 詹泳, 黄哲法. 基于YOLOv5改进算法的海洋水下垃圾检测方法[J]. 计算机与现代化, 2024, 0(07): 120-126.
[6]	符灵利, 邱宇, 张新晨 . 基于改进U-Net多特征融合的血管分割#br#[J]. 计算机与现代化, 2024, 0(06): 76-82.
[7]	朱纷, 何立风, 孙爽, 张梦颖, 于佳佳. 基于形变残差和级联编码的胰腺分割模型[J]. 计算机与现代化, 2024, 0(06): 83-88.
[8]	宁娟, 周庆华, 曾小为. 改进YOLOv7算法在西林瓶轧盖缺陷检测中的应用[J]. 计算机与现代化, 2023, 0(12): 82-86.
[9]	谷明轩, 范冰冰. 基于多模态特征融合的抑郁症识别[J]. 计算机与现代化, 2023, 0(10): 17-22.
[10]	陈俊义. 基于图节点动静态特征的健康事件预测模型[J]. 计算机与现代化, 2023, 0(10): 39-44.
[11]	邢世帅, 刘丹凤, 王立国, 潘月涛, 孟灵鸿, 岳晓晗. 基于空间注意力残差网络的图像超分辨率重建模型[J]. 计算机与现代化, 2023, 0(10): 45-52.
[12]	陈嘉敏, 张伯泉, 麦海鹏. 基于特征融合的海马体分割[J]. 计算机与现代化, 2023, 0(08): 1-6.
[13]	王鸿, 葛红. 基于注意力机制和语义相似度的跨模态哈希检索[J]. 计算机与现代化, 2023, 0(08): 44-53.
[14]	王杰, 潘凤, 张艳莎, 谭棉, 严晓波, 王林, . 融合带权非局部模块的铝型材表面缺陷分类[J]. 计算机与现代化, 2023, 0(05): 86-92.
[15]	朱理清, 李祥, . 改进YOLOv5算法的遥感图像车辆检测[J]. 计算机与现代化, 2023, 0(05): 117-121.