Short Text Classification Combining Attention Mechanism and Mengzi Model

doi:10.3969/j.issn.1006-2475.2024.09.017

Abstract

Abstract: How to use short text classification technology to mine useful text information is one of the current hot research directions. To solve the problem of sparse feature information and difficult extraction of short text， a short text classification model named Mengzi-ADCBU is proposed. This model uses Mengzi pre-training model to convert input text information into corresponding text representation. Then， the obtained text vectors are input to the improved deep pyramid convolutional neural network and the bidirectional gated unit integrated with multi-head attention mechanism to extract text feature information， and the extracted feature information is fused and sent to the full connection layer and Softmax function to complete short text classification. Multiple models comparison experiments are carried out on the publicly available THUCNews short text data set and SougouCS short text data set respectively. The experimental results show that the proposed Mengzi-ADCBU model is better than the current mainstream models in the accuracy， precision， recall rate and F1 value of short text classification and has better short text classification ability.

Key words: short text, multi-head attention, deep pyramid convolutional neural netwrks, bidirectional gated unit

CLC Number:

TP391.1

CHEN Xuesong1, LI Heng1, WANG Haochang2. Short Text Classification Combining Attention Mechanism and Mengzi Model[J]. Computer and Modernization, 2024, 0(09): 101-106.

References

［1］卢春华，胡晓楠，彭璐康，等. 融合网络和文本特征的智能课程推荐方法［J］. 计算机应用与软件， 2023，40（2）：74-81.
［2］张建，严珂，马祥. 基于神经网络的复杂垃圾信息过滤算法分析［J］. 计算机应用， 2022，42（3）：770-777.
［3］ WANKHADE M， RAO A C S， KULKARNI C. A survey on sentiment analysis methods， applications， and challenges［J］. Artificial Intelligence Review， 2022，55（7）：5731-5780.
［4］穆建媛，朱毅，周鑫柯，等. 基于提示学习的中文短文本分类方法［J］. 中文信息学报， 2023，37（7）：82-90.
［5］淦亚婷，安建业，徐雪. 基于深度学习的短文本分类方法研究综述［J］. 计算机工程与应用， 2023，59（4）：43-53.
［6］ LI C B， DUAN Q J， JI C H， et al. Method of short text classification based on CHI and TF-IWF feature selection［J］. Journal of Chongqing University of Technology （Natural Science）， 2021，35（5）：135-140.
［7］ LI Q， PENG H， LI J X， et al. A survey on text classification： From traditional to deep learning［J］. ACM Transactions on Intelligent Systems and Technology （TIST）， 2022，13（2）. DOI: 10.1145/3495162.
［8］桂韬，奚志恒，郑锐，等. 基于深度学习的自然语言处理鲁棒性研究综述［J/OL］. 计算机学报：1-26［2023-08-04］. https：//kns.cnki.net/kcms/detail/11.1826.tp.20230727.
0855.002.html.
［9］ MIKOLOV T， CHEN K， CORRADO G， et al. Efficient estimation of word representations in vector space［J］. arXiv preprint arXiv：1301.3781， 2013.
［10］ DEVLIN J， CHANG M W， LEE K， et al. Bert： Pre-training of deep bidirectional transformers for language understanding［J］. arXiv preprint arxiv：1810.04805， 2015.
［11］ LIU Y， OTT M， GOYAL N， et al. RoBERTa： A robustly optimized BERT pretraining approach［EB/OL］. ［2023-06-23］. https：//www.aclweb.org/anthology/N19-1423.
［12］ ZHANG Z S， ZHANG H Q， CHEN K M， et al. Mengzi： Towards lightweight yet ingenious pre-trained models for Chinese［J］. arXiv preprint arXiv：2110.06696， 2021.
［13］ KIM Y. Convolutional neural networks for sentence classification［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. ACL， 2014：1746-1751.
［14］ JOHNSON R， ZHANG T. Deep pyramid convolutional neural networks for text categorization［C］// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics. ACL， 2017：562-570.
［15］ LI Z J， GENG C Y， SONG P. Research on short text classification based on LSTM-TextCNN joint model［J］. Journal of Xi’an Technological University， 2020，40（3）：299-304.
［16］黄玉娇，詹李超，范兴刚，等. 基于知识蒸馏模型ELECTRA-base-BiLSTM的文本分类［J］. 计算机科学， 2022，49（增刊2）：144-149.
［17］杨振宇，张登辉. 一种结合BERT与双层LSTM的复杂长句意图分类方法［J］. 计算机应用与软件， 2021，38（12）：207-212.
［18］滕金保，孔韦韦，田乔鑫，等. 基于CNN和LSTM的多通道注意力机制文本分类模型［J］. 计算机工程与应用， 2021，57（23）：154-162.
［19］刘硕，王庚润，彭建华，等. 基于混合字词特征的中文短文本分类算法［J］. 计算机科学， 2022，49（4）：282-287.
［20］陈雪松，邹梦. 基于BERT-BiGRU-CNN模型的短文本分类研究［J/OL］. 吉林大学学报（信息科学版）：1-6［2023-07-20］. https：//doi.org/10.19292/j.cnki.jdxxp.2023
0707.003.
［21］杨兴锐，赵寿为，张如学，等. 改进BERT词向量的BiLSTM-Attention文本分类模型［J］. 传感器与微系统， 2023，42（10）：160-164.
［22］ YOU Y， LI J， REDDI S， et al. Large batch optimization for deep learning： Training BERT in 76 minutes［J］. arXiv preprint arXiv：1904.00962， 2020.
［23］ KOWSARI K， BROWN D E， HEIDARYSAFA M， et al. Hdltex： Hierarchical deep learning for text classification［C］// 2017 16th IEEE International Conference on Machine Learning and Applications（ICMLA）. IEEE， 2017：364-371.
［24］ YU Q， WANG Z Y， JIANG K W. Research on text classification based on BERT-BIGRU model［C］// Proceedings of the 2020 3rd International Conference on Modeling，Simulation and Optimization Technologies and Applications. IOP Publishing， 2021. DOI：10.1088/1742-6596/1746/1/012019.
［25］程艳，孙欢，陈豪迈，等. 融合卷积神经网络与双向GRU的文本情感分析胶囊模型［J］. 中文信息学报， 2021，35（5）：118-129.
［26］ KUMAR A， NARAPAREDDY V T， SRIKANTH V A， et al. Sarcasm detection using multi-head attention based bidirectional LSTM［J］. IEEE Access， 2020，8（1）： 6388-6397.
［27］王金政，杨颖，余本功. 基于多头协同注意力机制的客户投诉文本分类模型［J］. 数据分析与知识发现， 2023，7（1）：128-137.
［28］翟一鸣，王斌君，周枝凝，等. 面向文本分类的多头注意力池化RCNN模型［J］. 计算机工程与应用， 2021，57（12）：155-160.

[1]	CUI Shao-guo, ZHANG Gang, WANG Ao-di. Deep Cross Network Recommendation Model Based on Attention Perception [J]. Computer and Modernization, 2023, 0(07): 54-60.
[2]	WANG Yong-di, LEI Gang. Chinese Short Text Entity Disambiguation Based on Multi-feature Factor Fusion [J]. Computer and Modernization, 2023, 0(01): 30-36.