基于小样本学习的藏文命名实体识别

计算机与现代化 ›› 2023, Vol. 0 ›› Issue (05): 13-19.

基于小样本学习的藏文命名实体识别

（1.西藏大学信息科学技术学院，西藏拉萨 850000； 2.西藏大学西藏自治区藏文信息技术人工智能重点实验室，西藏拉萨 850000；
3.西藏大学藏文信息技术教育部工程研究中心，西藏拉萨 850000）

出版日期:2023-06-06 发布日期:2023-06-06
作者简介:于韬（1998—），男，辽宁沈阳人，硕士研究生，研究方向：自然语言处理和知识图谱，E-mail: yt_tibet@163.com；张英（1999—），女，四川资阳人，硕士研究生，研究方向：自然语言处理和预训练语言模型，E-mail: zy375747485@163.com；通信作者：拥措（1974—），女（藏族），教授，博士，研究方向：藏语自然语言处理，藏文古籍数字化及知识挖掘，E-mail: yongtso@163.com。
基金资助:
国家重点研发计划重点专项(2017YFB1402200)；西藏自治区科技创新基地自主研究项目（XZ2021JR002G）；西藏大学研究生高水平人才培养计划项目（2020-GSP-S179）

Tibetan Named Entity Recognition Based on Small Sample Learning

（1. College of Information Science and Technology， Tibet University， Lhasa 850000， China； 2. Key Laboratory of Tibetan Information Technology and Artificial Intelligence of Tibet Autonomous Region，Tibet University， Lhasa 850000， China； 3. Engineering Research Center of Tibetan Information Technology， Ministry of Education，Tibet University， Lhasa 850000， China）

Online:2023-06-06 Published:2023-06-06

摘要/Abstract

摘要： 藏文命名实体识别是藏文自然语言处理领域的一项关键技术，其目的是识别文本中的人名、地名及组织机构名。在目前的研究中，深度学习方法需要大量的标注数据是制约模型性能的主要因素，因此本文提出基于小样本学习的藏文命名实体识别方法。针对小样本数据量少导致模型无法充分学习实体特征的问题，本文提出实体特征信息融合方法，在训练过程中将实体位置信息、分词信息与藏文音节信息以维度拼接的方式进行特征融合，通过辅助信息增强实体特征，使得模型可以较好地学习藏文长实体的边界信息，并设计消融实验探究不同特征信息对模型效果的影响。实验结果表明，本文提出的方法有效提高了藏文小样本命名实体识别模型的准确率，相较于基线实验F1值总体提升了22.22~38个百分点。

关键词: 小样本学习, 藏文, 命名实体识别, 实体特征信息融合

Abstract: The task of Tibetan named entity recognition is to identify the names of people， places and organizations in the text. This paper proposed a Tibetan named entity recognition method based on small sample learning. In the training process， the feature fusion of entity location information， word segmentation information and Tibetan syllable information in the form of dimensional splicing could better represent the boundary information of Tibetan long entities. Ablation experiments were designed to explore the effect of different feature information on model performance. The experimental results show that our method is effective， and the F1 value is improved by 22.22~38 percentage points compared with the baseline experiment.

Key words: small sample learning, Tibetan, named entity recognition, entity feature information fusion

于韬, 张英, 拥措, . 基于小样本学习的藏文命名实体识别[J]. 计算机与现代化, 2023, 0(05): 13-19.

YU Tao, ZHANG Ying, Yong Tso, . Tibetan Named Entity Recognition Based on Small Sample Learning[J]. Computer and Modernization, 2023, 0(05): 13-19.

参考文献

［1］王丽客，孙媛，夏天赐. 基于远程监督的藏文实体关系抽取［J］. 中文信息学报， 2020，34（3）:72-79.
［2］慈祯嘉措，桑杰端珠，孙茂松，等. 基于迭代式回译策略的藏汉机器翻译方法研究［J］. 中文信息学报， 2020，34（11）:67-73.
［3］姜磊，刘琦，袁鹏，等. 面向知识图谱的信息抽取技术综述［J］. 计算机系统应用， 2022，31（7）:46-54.
［4］胡晗，刘鹏远. 小样本关系分类研究综述［J］. 中文信息学报， 2022，36（2）:1-11.
［5］ MORWAL S，CHOPRA D. NERHMM: A tool for named entity recognition based on hidden Markov model［J］. International Journal on Natural Language Computing， 2013，2（2）:43-49.
［6］ BORTHWICK A， STERLING J， AGICHTEIN E， et al. Exploiting diverse knowledge sources via maximum entropy in named entity recognition［C］// Proceedings of the 6th Workshop on Very Large Corpora. 1998:152-160.
［7］ HAN A L F，WONG D F，CHAO L S. Chinese named entity recognition with conditional random fields in the light of Chinese characteristics［C］// Proceedings of Intelligent Information Systems Symposium. 2013:57-68.
［8］ HAMMERTON J. Named entity recognition with long short-term memory［C］// Proceedings of the 7th Conference on Natural Language Learning at HLT-NAACL. 2003:172-175.
［9］ CHANGKI L. LSTM-CRF models for named entity recognition［J］. IEICE TRANS. INF. & SYST.， 2017，D（4）:882-887.
［10］ COLLOBERT R， WESTON J， BOTTOU， et al. Natural language processing from scratch［J］. Journal of Machine Learning Research， 2011，12（1）:2493-2537.
［11］ HUANG Z H，XU W，YU K. Bidirectional LSTM-CRF models for sequence tagging［J］. arXiv preprint arXiv:1508.01991， 2015.
［12］ LAMPLE G，BALLESTEROS M，SUBRAMANIAN S，et al. Neural architectures for named entity recognition［C］// Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics. 2016:260-270.
［13］ ZHANG Y， YANG J. Chinese NER using lattice LSTM ［C］// Proceedings of the 56th International Conference on Computational Linguistics. 2018:1554-1564.
［14］ WU Y，HUANG J，XU C E，et al. Research on named entity recognition of electronic medical records based on RoBERTa and radical-level feature［J］. Wireless Communications and Mobile Computing，2021（10）:1-10.
［15］ YU H Z， JIANG T， MA N. Named entity recognition for Tibetan texts using case-auxiliary grammars［C］// 2010 International MulitiConference of Engineers and Computer Scientists（IMECS 2010）. 2010:601-604.
［16］ SUN Y，YAN X D，ZHAO X B，et al. Research on automatic recognition of Tibetan personal names based on multi-features［C］// Proceedings of International Conference on Natural Language Processing and Knowledge Engineering. 2010. DOI: 10.1109/NLPKE.2010.5587820.
［17］华却才让，姜文斌，赵海兴，等. 基于感知机模型藏文命名实体识别［J］. 计算机工程与应用， 2014，50（15）:172-176.
［18］加羊吉，李亚超，宗成庆，等. 最大熵和条件随机场模型相融合的藏文人名识别［J］. 中文信息学报， 2014，28（1）:107-112.
［19］康才畯，龙从军，江荻. 基于条件随机场的藏文人名识别研究［J］. 计算机工程与应用， 2015，51（3）:109-111.
［20］珠杰，李天瑞，刘胜久. 基于条件随机场的藏文人名识别技术研究［J］. 南京大学学报（自然科学版）， 2016，52（2）:289-299.
［21］刘飞飞，王志娟. 基于层次特征的藏文人名识别研究［J］. 计算机应用研究， 2018，35（9）:2583-2587.
［22］珠杰，李天瑞. 深度学习模型的藏文人名识别方法［J］.高原科学研究， 2017，1（1）:112-124.
［23］贡保才让. 深层神经网络的藏文命名实体识别研究［D］. 西宁:青海师范大学， 2018.
［24］头旦才让，仁青东主，尼玛扎西. 基于CRF的藏文地名识别技术研究［J］. 计算机工程与应用， 2019，55（18）:111-115.
［25］孙朋. 基于弱监督学习的藏文命名实体识别研究［D］.北京:中央民族大学， 2020.
［26］李晓敏. 基于深度学习的藏文命名实体识别研究［D］. 兰州:兰州大学， 2021.
［27］环科尤. 基于深度学习的格萨尔史诗命名实体识别关键技术研究［D］. 西宁:青海师范大学， 2022.
［28］洛桑嘎登，群诺，索南尖措，等. 融合音节部件特征的藏文命名实体识别方法［J］. 厦门大学学报（自然科学版）， 2022，61（4）:624-629..
［29］ ZAREMBA W，SUTSKEVER I，VINYALS O. Recurrent neural network regularzation［J］. arXiv preprint arXiv:1409.2329，2014.
［30］ GERS F A. Learning to forget: Continual prediction with LSTM［C］// Proceedings of the 9th International Conference on Artificial Neural Networks. 1999:850-855.
［31］ CHO K，MERRIENBOER B V，GULCEHRE C，et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation［J］. arXiv preprint arXiv:1406.1078， 2014.
［32］ MA P C，JIANG B，LU Z G，et al. Cybersecurity named entity recognition using bidirectional long short-term memory with conditional random fields［J］. Tsinghua Science and Technology， 2021，26（3）:259-265.
［33］ DENG J F，CHENG L L，WANG Z W. Self-attention-based BiGRU and capsule network for named entity recognition［J］. arXiv preprint arXiv:2002.00735， 2020.

[1]	赵盾1, 佘学兵2, 邬昌兴3. 基于BERT-BiLSTM-CRF党建领域命名实体识别[J]. 计算机与现代化, 2024, 0(09): 91-94.
[2]	王谭, 陈金广, 马丽丽. 融合词典信息和句子语义的中文命名实体识别[J]. 计算机与现代化, 2024, 0(03): 24-28.
[3]	乔璐, 孙有朝, 吴红兰. 面向飞机故障文本的信息抽取[J]. 计算机与现代化, 2024, 0(03): 61-66.
[4]	崔少国, 胡光平. 基于语义分割的嵌套命名实体识别方法[J]. 计算机与现代化, 2024, 0(02): 69-74.
[5]	郑立瑞, 肖晓霞, 邹北骥, 刘彬, 周展. 基于BERT的电子病历命名实体识别[J]. 计算机与现代化, 2024, 0(01): 87-91.
[6]	朱亚军, 拥措, 尼玛扎西, . 基于藏文BERT的藏医药医学实体识别[J]. 计算机与现代化, 2023, 0(01): 43-48.
[7]	于鹏, 陈钰枫, 徐金安, 张玉洁. 基于多任务学习的电子病历实体识别方法[J]. 计算机与现代化, 2022, 0(09): 40-50.
[8]	杨政, 蔡迪, 李慧斌. 基于层次化表示的电力文本命名实体识别和匹配算法[J]. 计算机与现代化, 2022, 0(05): 75-81.
[9]	孙义栋, 拥措, 杨丹, . 基于VOLT的藏汉双向机器翻译[J]. 计算机与现代化, 2022, 0(05): 28-32.
[10]	李健, 张克亮, 唐亮, 夏榕璟, 任静静. 面向中文命名实体识别任务的数据增强[J]. 计算机与现代化, 2022, 0(04): 1-6.
[11]	王运乾, 王以松, 陈攀峰, 邹龙. 融合注意力机制的药用植物文本命名实体识别[J]. 计算机与现代化, 2021, 0(11): 100-105.
[12]	樊志强, 凌冬怡, 牛婵. 一种基于NLP的技术体制符合性审查方法[J]. 计算机与现代化, 2021, 0(09): 63-67.
[13]	李欣晔, 张承强, 周雄图, 郭太良, 张永爱. 多场景融合的细粒度图像描述生成算法[J]. 计算机与现代化, 2021, 0(09): 1-6.
[14]	张岑芳. 基于主动学习的命名实体识别算法[J]. 计算机与现代化, 2021, 0(07): 18-22.
[15]	王伟, 余厚云, . 基于改进深度度量学习算法的表面缺陷检测[J]. 计算机与现代化, 2021, 0(06): 61-68.