基于Attention-BIGRU-CRF的中文分词模型

摘要/Abstract

摘要： 自然语言处理是人工智能发展的重要分支，而中文分词是自然语言处理的第一步，提高中文分词的效率可以提高自然语言处理的结果的准确性。因此提出一种Attention-BIGRU-CRF模型，首先将中文文本通过词向量转换，将文本转换成向量的形式，再利用BIGRU进行序列化学习，随后引入attention机制将BIGRU的输入和输出进行相关性计算获取更精确向量值，最后将该向量值与BIGRU序列化得到的向量值进行拼接作为CRF层的输入并得到标签预测结果。由仿真结果可知，Attention-BIGRU-CRF模型在人民日报2014和MSRA的语料库得到的F1值分别为97.34%和98.25%，处理文本的分词速率为248.1 KB/s。故融合attention机制和BIGRU-CRF网络的模型既能够提高分词准确率，又能提高分词时间和效率。

关键词: 自然语言处理, 双向门控循环单元, 条件随机场, 注意力机制, 中文分词

Abstract: Natural language processing is an important branch of the development of artificial intelligence, and Chinese word segmentation is the first step of natural language processing. Improving the efficiency of Chinese word segmentation can improve the accuracy of the results of natural language processing. Therefore, an Attention-BIGRU-CRF-CRF model is proposed in this paper. Firstly, the Chinese text is transformed into vector form through word vector conversion, and then the BIGRU is used for serialization learning. Then, the attention mechanism is introduced to calculate the correlation between the input and output of BIGRU to obtain more accurate vector values, Finally, the vector value is spliced with the vector value serialized by BIGRU as the input of CRF layer, and the label prediction result is obtained. The simulation results show that the F1 values of Attention-BIGRU-CRF model in the corpus of people’s daily 2014 and MSRA are 97.34% and 98.25% respectively, and the word segmentation rate of processed text is 248.1 KB/s. Therefore, the model integrating attention mechanism and BIGRU-CRF network can not only improve the accuracy of word segmentation, but also improve the time efficiency of word segmentation.

Key words: BIGRU, CRF, attention mechanism, Chinese word segmentation

周慧, 徐名海, 许晓东. 基于Attention-BIGRU-CRF的中文分词模型[J]. 计算机与现代化, 2022, 0(08): 7-12.

ZHOU Hui, XU Ming-hai, XU Xiao-dong. Chinese Word Segmentation Model Based on Attention-BIGRU-CRF[J]. Computer and Modernization, 2022, 0(08): 7-12.

参考文献

［1］ KANTOR P B. Foundations of statistical natural language processing［J］. Information Retrieval, 2001,4（1）:80-81.
［2］李霞婷. 基于改进型正反向最大匹配中文分词算法的研究［J］. 信息技术与信息化, 2015（6）: 211-212.
［3］ XUE N.Chinese word segmentation as character tagging［J］. Computational Linguistics Chinese Language Processing, 2003，8（1）:29-47.
［4］丁振国,张卓,黎靖. 基于 Hash 结构的逆向最大匹配分词算法的改进［J］. 计算机工程与设计, 2008,29（12）:3208-3211.
［5］陶伟. 警务应用中基于双向最大匹配法的中文分词算法实现［J］. 电子技术与软件工程, 2016（4）:153-155.
［6］张玉茹. 中文分词算法之最大匹配算法的研究［J］. 现代计算机, 2011（16）:24-26.
［7］王威. 基于统计学习的中文分词方法的研究［D］. 辽宁:东北大学, 2015.
［8］杨贵军,徐雪,凤丽洲，等.基于最大匹配算法的似然导向中文分词方法［J］.统计与信息论坛, 2019,34（3）:18-23.
［9］侯一民,周慧琼,王政一. 深度学习在语音识别中的研究进展综述［J］.计算机应用研究, 2017,34（8）:2241-2246.
［10］HAN K, YU D, TASHEV I. Speech emotion recognition using deep neural network and extreme learning machine［J］. Interspeech, 2014:223-227.
［11］卢宏涛,张秦川. 深度卷积神经网络在计算机视觉中的应用研究综述［J］. 数据采集与处理, 2016,31（1）:1-17.

［12］奚雪峰,周国栋. 面向自然语言处理的深度学习研究［J］. 自动化学报, 2016,42（10）:1445-1465.

［13］BENGIO Y, DUCHARME R, VINCENT P, et al. Aneural probabilistic language model［J］. Journal of Machine Learning Research, 2003,3（6）:1137-1155.
［14］COLLEBERT R, WESTON J,BOTTOU L, et al. Natural language processing（almost） from scratch［J］. Journal of Machine Learning Research, 2011,12（1）:2493-2537.
［15］ZHENG X，CHEN H，XU T. Deep learning for Chinese word segmentation and POS tagging［C］// Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. Seattle: Association for Computational Linguistics, 2013:647-657.
［16］PEI W, GE T, CHANG B. Max-margin tensor neural network for Chinese word segmentation［C］// Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics. 2014:293-303.
［17］BENGIO Y, SCHWENK H, SENECAL J S, et al. Neural probabilistic language models［M］. Innovations in Machine Learning. 2006:137-186.
［18］CHEN X, IU X, ZHU C, et al. Gated recursive neural network for Chinese word segmentation［C］// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. 2015:567-572.
［19］CHEN X, QIU X, ZHU C, et al. Long short-term memory neural networks for Chinese word segmentation［C］// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. 2015:1385-1394.
［20］刁琦. 基于循环神经网络语言模型的中文分词研究［D］. 新疆:新疆农业大学,2017.
［21］YAO Y, HUANG Z. Bi-directional LSTM recurrent neural network for Chinese word segmentation［C］// International Conference on Neural Information Processing. 2016:345-353.
［22］JOZEFOWICZ R, ZAREMBA W, SUTSKEVER I.Anempirical exploration of recurrent network architectures［C］// Proceedings of the 32nd International Conference on International Conference on Machine Learning. 2015,37:2342-2350.
［23］李雪莲,段鸿,许牧. 基于门循环单元神经网络的中文分词法［J］. 厦门大学学报（自然科学版）, 2017,56（2）:237-243.
［24］车金立,唐力伟,邓士杰,等. 基于BI-GRU-CRF模型的中文分词法［J］.火力与指挥控制, 2019,44（9）:66-71.
［25］黄丹丹,郭玉翠. 融合Attention机制的BI-LSTM-CRF中文分词模型［J］. 软件, 2018, 39（10）:260-266.
［26］李文华. 中文分词算法在搜索引擎应用中的运用［J］.电脑知识与技术, 2021,17（6）:181-182.
［27］刘佳萌. 语音交互智能音箱情感化设计策略研究［D］. 无锡:江南大学,2020.

[1]	何思达, 陈平华. 基于意图的轻量级自注意力序列推荐模型[J]. 计算机与现代化, 2024, 0(12): 1-9.
[2]	赵晨阳, 薛涛, 刘俊华. 基于改进Stable Diffusion的时尚服饰图案生成[J]. 计算机与现代化, 2024, 0(12): 15-23.
[3]	黄庭培1, 马禄彪1, 李世宝2, 刘建航1. 基于WiFi和原型网络的手势识别方法[J]. 计算机与现代化, 2024, 0(12): 34-39.
[4]	张晓东1, 白广芝1, 李敏1, 李昊洋2. 基于经验小波变换的油气井产量预测模型 [J]. 计算机与现代化, 2024, 0(12): 53-58.
[5]	刘云海1, 冯广1, 吴晓婷2, 杨群2. 复杂施工场景下的安全帽佩戴检测算法[J]. 计算机与现代化, 2024, 0(12): 66-71.
[6]	谷岳, 邓松峰, 沈霁, 穆文涛, 赵恩棋. 基于改进YOLOv8的SAR舰船目标检测算法[J]. 计算机与现代化, 2024, 0(12): 78-83.
[7]	王艳媛, 茅正冲. 中英文场景文本图像的检测和识别算法[J]. 计算机与现代化, 2024, 0(12): 84-90.
[8]	李钧超1, 尤菲1, 张超2, 苏乐乐2, 龚龑2. 基于新型多目标浣熊优化算法的BiLSTM-Attention#br# 预测模型及误差分析[J]. 计算机与现代化, 2024, 0(11): 70-76.
[9]	张宇1, 2, 黎靖1, 2, 马铭1, 2, 王众祥1, 2, 孙妍1, 2. YOLOLW:一个新的轻量级目标检测模型[J]. 计算机与现代化, 2024, 0(11): 91-98.
[10]	祁贤, 刘大铭, 常佳鑫. 基于改进自注意力机制的多视图三维重建[J]. 计算机与现代化, 2024, 0(11): 106-112.
[11]	杨骏1, 胡为1, 朱文福2. 基于改进MobileNetV3的视觉SLAM回环检测算法[J]. 计算机与现代化, 2024, 0(10): 21-26.
[12]	魏学诚1, 江凌云1, 李研2, 何非2. 改进YOLOv5的路侧单目视角小目标检测算法[J]. 计算机与现代化, 2024, 0(10): 27-34.
[13]	杜猛俊1, 李昂1, 童俊1, 钱锦1, 康恺1, 王若丁1, 靳文星2. 基于改进极限学习算法的电力信息数据融合模型[J]. 计算机与现代化, 2024, 0(10): 61-64.
[14]	杨世军1, 狄广义1, 高军1, 陈见飞1, 王耀坤1, 季晓晗2. 跨模态注意力融合和信息感知的情感一致检测[J]. 计算机与现代化, 2024, 0(10): 113-119.
[15]	张惠楠1, 张强1, 孙红霞2. 基于改进时序胶囊网络的油藏生产动态分析模型[J]. 计算机与现代化, 2024, 0(09): 15-19.