基于VAE-DBN双模型的智能文本分类方法

doi:10.3969/j.issn.1006-2475.2018.12.015

计算机与现代化

基于VAE-DBN双模型的智能文本分类方法

(1.军事科学院研究生部,北京100091;2.31608部队，福建厦门361025)

收稿日期:2018-05-21 出版日期:2019-01-03 发布日期:2019-01-04
作者简介:王玮(1975-),男,内蒙古清水河人,军事科学院研究生部博士研究生,31608部队工程师,研究方向:智能数据工程。

Intelligent Text Classification Method Based on VAE-DBN Dual-Model

(Dept. of Graduate, Academy of Military Sciences, Beijing 100091, China; 2. 31608 Force, Xiamen 361025, China)

Received:2018-05-21 Online:2019-01-03 Published:2019-01-04

摘要/Abstract

摘要： 文本分类技术是信息过滤、搜索引擎等领域的基础，是当下研究热点之一。本文在介绍文本分类相关概念、深度学习相关模型的基础上，通过分析传统文本分类方法存在的不足，提出基于变分自编码器模型和深度置信网络模型（VAE-DBN）的双模型融合的文本分类方法。通过在相关语料集上的对比验证，表明该双模型方法能有效提高文本分类的准确性。

关键词: 变分自编码器, 深度置信网络, 文本分类

Abstract: Text categorization technology is the foundation of information filtering, search engine and other fields, and is one of current research hot-spots. Based on the introduction of text classification related concepts and deep learning related models, this paper presents a dual-model text classification method based on the variational autoencoder model and the deep belief network model (VAE-DBN) by analyzing the shortcomings of the traditional text classification methods. By comparing and verifying the corpus, the results show that the dual-model method can effectively improve the accuracy of text categorization.

Key words: variational autoencoder, deep belief network, text categorization

中图分类号:

TP391

王玮1,2. 基于VAE-DBN双模型的智能文本分类方法[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2018.12.015.

WANG Wei1,2. Intelligent Text Classification Method Based on VAE-DBN Dual-Model[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2018.12.015.

参考文献

［1］ TAN P N, STEITBACH M, KUMAR V. 数据挖掘导论（中文版）［M］. 范明,范宏建,等译. 北京:人民邮电出版杜, 2011:139-141.
［2］周超. 基于深度学习混合模型的文本分类研究［D］. 兰州：兰州大学, 2016
［3］ COVER T, HART P. Nearest neighbor pattern classification［J］. IEEE Transactions on Information Theory, 1967,13(1):21-27.
［4］〖JP4〗WEBB G I, PAZZAN M J. Adjuated prohability naive Bayesian induction［C］// Proceedings of the 1lth Australian Joint Conference on Artificial Intelligence. 1998:285-295.
［5］赵中原. 基于神经网络的中文文本分类研究［D］. 南京：南京邮电大学， 2005.
［6］汪辉.侯传宇. 决策树相关算法研究［J］. 电脑知识与技术, 2011,7(15):3572-3574.
［7］李忠伟. 支持向量机学习算法研究［D］. 哈尔滨:哈尔滨工程大学, 2006.
［8］ YANG Z, YANG D, DYER C, et al. Hierarchical attention networks for document classification［C］// Proceedings of 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2017:1480-1489.
［9］ RUMELHART D E, HINTON G E, WILLIAMS R J. Learning representations by back-propagating errors［J］. Nature, 1986,323(6088):533-538.
［10］黄立威,江碧涛,吕守业,等. 基于深度学习的推荐系统研究综述［J］. 计算机学报, 2018(7), http://www.cnki.com.cn/Article/CJFDTotal-JSJX20180303003.htm.
［11］BENGIO Y, LAMBLIN P, POPOVICI D, et al. Greedy layer-wise training of deep networks［C］// Proceedings of the 19th International Conference on Neural Information Processing Systems. 2006:53-160.
［12］VINCENT P, LAROCHELLE H, BENGIOY. Extracting and composing robust features with denoising autoencoders［C］// Proceedings of the 25th International Conference on Machine Learning. 2008:1096-1103.
［13］HINTON G E, SEJNOWSKI T J. Learning and relearning in Boltzmann machines［J］. Parallel Distrilmted Processing, 1986,1:282-317.
［14］SMOLENSKY P. Information Processing in Dynamical Systems: Foundations of Harmony Theory［R］. University of Colorado, 1986.
［15］HINTON G E. A Practical Guide to Training Restricted Boltzmann Machines［M］. Springer Berlin Heidelberg, 2012:599-619.
［16］吕淑宝,王明月,翟祥,等. 一种深度学习的信息文本分类算法［J］. 哈尔滨工业大学学报, 2017,22(2):105-112.
［17］BENGIO Y. Learning deep architectures for AI［J］. Foundations & Trends in Machine Learning, 2009,2(1):1-127.
［18］陈翠平. 基于深度信念网络的文本分类算法［J］. 计算机系统应用, 2015,24(2):121-126.
［19］王明月. 基于深度学习的林业信息文本分类算法研究［D］. 沈阳:东北大学, 2017.
［20］LIU T. A novel text classification approach based on deep belief network［C］// Proceedings of Neural Information Processing Theory and Algorithms International Conference. 2010:314-321.
［21］翟文洁,闫琰,张博文,等. 基于混合深度信念网络的多类文本表示与分类方法［J］. 情报工程, 2016,2(5):30-40.
［22］王贵新,郑孝宗,张浩然,等. 利用深度置信网络的中文短信分类［J］. 现代电子技术, 2016,39(9):37-40.

[1]	刘付琪, 张达. 基于PSO-DBN的液压系统冷却器故障诊断[J]. 计算机与现代化, 2023, 0(06): 7-14.
[2]	徐涯昕, 何泽恩, 徐绪堪. 基于CNN-BiLSTM网络的数控机床故障文本自动分类[J]. 计算机与现代化, 2023, 0(04): 7-14.
[3]	张军, 邱龙龙. 一种基于BERT和池化操作的文本分类模型[J]. 计算机与现代化, 2022, 0(06): 1-7.
[4]	赵延平, 王芳, 夏杨. 基于支持向量机的短文本分类方法[J]. 计算机与现代化, 2022, 0(02): 92-96.
[5]	郭书武, 陈军华. 基于深度学习的教材德目分类方法[J]. 计算机与现代化, 2021, 0(09): 106-112.
[6]	贾澎涛, 孙炜. 基于深度学习的文本分类综述[J]. 计算机与现代化, 2021, 0(07): 29-37.
[7]	代继鹏, 邵峰晶, 孙仁诚. 基于改进CHI和TF-IDF的短文本分类的研究[J]. 计算机与现代化, 2021, 0(06): 6-11.
[8]	尼格拉木·买斯木江, 艾孜尔古丽·玉素甫. 基于BERT及双向GRU模型的慕课用户评论情感倾向性分析[J]. 计算机与现代化, 2021, 0(04): 20-26.
[9]	周灵, 张英俊, 潘理虎. 一种基于情感特征的短文本分类方法[J]. 计算机与现代化, 2020, 0(07): 80-84.
[10]	景栋盛, 薛劲松, 冯仁君. 基于深度Q网络的垃圾邮件文本分类方法[J]. 计算机与现代化, 2020, 0(06): 89-.
[11]	彭路1,朱君2,邹云峰2. 基于深度神经网络的电力客户诉求预判[J]. 计算机与现代化, 2020, 0(05): 22-.
[12]	牛雪莹. 结合主题模型词向量的CNN文本分类[J]. 计算机与现代化, 2019, 0(10): 7-.
[13]	李富星，蒙祖强 . 一种改进的类别区分词特征选择算法[J]. 计算机与现代化, 2019, 0(03): 73-.
[14]	马建红，刘广森，姚爽，杨智. 面向短文本的特征选择及文本表示[J]. 计算机与现代化, 2019, 0(03): 95-.
[15]	张浩1,2，钟敏1，2. 基于Sentence-LDA主题模型的短文本分类[J]. 计算机与现代化, 2019, 0(03): 102-.

基于VAE-DBN双模型的智能文本分类方法

Intelligent Text Classification Method Based on VAE-DBN Dual-Model

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价