计算机与现代化 ›› 2024, Vol. 0 ›› Issue (09): 101-106.doi: 10.3969/j.issn.1006-2475.2024.09.017
摘要: 如何使用短文本分类技术挖掘有用的文本信息,是当前热门的研究方向之一。为了解决短文本特征信息稀疏和特征信息难以提取的问题,提出一种Mengzi-ADCBU短文本分类模型,该模型利用Mengzi预训练模型将输入的文本信息转化为相应的文本表示,再将获得的文本向量分别输入改进的深度金字塔卷积神经网络和融合了多头注意力机制的双向门控单元中提取文本特征信息,将两者提取到的特征信息进行融合之后,输送给全连接层和Softmax函数完成短文本分类。在公开的短文本数据集THUCNews和SougouCS上分别进行多组模型对比实验,实验结果表明本文提出的Mengzi-ADCBU模型在短文本分类的准确率、精确度、召回率和F1值等评价指标上都比现在的主流模型性能更优,具有较好的短文本分类能力。
中图分类号: