基于藏文BERT的藏医药医学实体识别

计算机与现代化 ›› 2023, Vol. 0 ›› Issue (01): 43-48.

基于藏文BERT的藏医药医学实体识别

（1.西藏大学信息科学技术学院，西藏拉萨 850000； 2.西藏自治区藏文信息技术人工智能重点实验室，西藏拉萨 850000； 3.藏文信息技术教育部工程研究中心，西藏拉萨 850000）

出版日期:2023-03-02 发布日期:2023-03-02
作者简介:朱亚军（1994—），男，河南周口人，硕士研究生，研究方向：自然语言处理，E-mail： zhuyajun2022@163.com；通信作者：拥措（1974—），女（藏族），青海玉树人，教授，博士生导师，博士，研究方向：自然语言处理，人工智能，E-mail： yongtso@163.com；尼玛扎西（1964—），男（藏族），西藏拉萨人，教授，博士生导师，博士，研究方向：藏语计算语言学，E-mail： nmzx@utibet.edu.cn。
基金资助:
科技部重点研发计划重点专项（2017YFB1402200）；西藏自治区科技创新基地自主研究项目（XZ2021JR002G）；西藏大学研究生“高水平人才培养计划”项目（2019-GSP-S118）

Tibetan Medical Entity Recognition Based on Tibetan BERT

（1. School of Information Science and Technology， Tibetan University， Lhasa 850000， China； 2. State Key Laboratory of Artificial Intelligence for Tibetan Information Technology in Tibet Autonomous Region， Lhasa 850000， China； 3. Ministry of Education Engineering Research Center for Tibetan Information Technology， Lhasa 850000， China）

Online:2023-03-02 Published:2023-03-02

摘要/Abstract

摘要： 藏医药文本字符嵌入对藏医药医学实体识别有着重要意义，但目前藏文缺少高质量的藏文语言模型。本文结合藏文结构特点使用普通藏文新闻文本训练基于音节的藏文BERT模型，并基于藏文BERT模型构建BERT-BiLSTM-CRF模型。该模型首先使用藏文BERT模型对藏医药文本字符嵌入进行学习，增强字符嵌入对藏文字符及其上下文信息的表示能力，然后使用BiLSTM层进一步抽取藏医药文本中字符之间的依赖关系，最后使用CRF层强化标注序列的合法性。实验结果表明，使用藏文BERT模型初始化藏医药文本字符嵌入有助于提高藏医药医学实体识别效果，F1值达96.18%。

关键词: 藏文, 藏医药, 命名实体识别, BERT, 双向长短期记忆

Abstract: Tibetan medicine character embedding is of great significance for Tibetan medical entity recognition， but there is a lack of high-quality Tibetan language model. Combined with Tibetan structural characteristics， the BERT model based on syllable is trained by using ordinary Tibetan news text, and a BERT-BiLSTM-CRF model is built by using the Tibetan BERT model. Firstly， the model uses Tibetan BERT model to learn the character embedding of Tibetan medicine text, and enhances the ability of character embedding to express Tibetan characters and their context information. And then， the BiLSTM layer is used to further extract the dependencies between characters in Tibetan medicine text. Finally， the CRF layer is used to strengthen the legitimacy of the label sequence. The experimental results show that using Tibetan BERT model to initialize character embedding is helpful to improve the recognition of Tibetan medical entity， and the F1 value reaches 96.18%.

Key words: Tibetan, Tibetan medicine, NER, BERT, BiLSTM

朱亚军, 拥措, 尼玛扎西, . 基于藏文BERT的藏医药医学实体识别[J]. 计算机与现代化, 2023, 0(01): 43-48.

ZHU Ya-jun, Yong Tso, Nyima Tashi, . Tibetan Medical Entity Recognition Based on Tibetan BERT[J]. Computer and Modernization, 2023, 0(01): 43-48.

参考文献［29］

［1］	高艳菊，张丹. 当代中国藏医药学主流学术群体及其代表人物［J］. 世界科学技术-中医药现代化， 2020，22（8）:2927-2935.
［2］	格知加，尼玛次仁. 藏医特色疗法治疗真布病（风湿性关节炎）研究进展［J］. 亚太传统医药， 2021，17（11）:27-29.
［3］	肖宗朋，刘鸿，陈建英，等. 基于数据挖掘的疫病藏医用药规律研究［J］. 中国民族民间医药， 2021，30（4）:1-4.
［4］	德央，尼玛玉珍. 浅谈藏药经典配方中矿物药的用量及现状［J］. 西藏科技， 2021（1）:60-61.
［5］	冯学梅，雅才华，毕文忠，等. 治疗类风湿病的藏医药浴水中生物元素的因子分析［J］. 中国高原医学与生物学杂志， 2021，42（4）:265-268.
［6］	张佛晓. 数据挖掘技术在藏医中的研究综述［J］. 数码世界， 2019（6）:53-54.
［7］	陈瑶，葛卫红，廖俊. 深度学习在医药领域命名实体识别中的研究进展［J］. 药学进展， 2020，44（1）:28-34.
［8］	LAFFERTY J， MCCALLUM A， PEREIRA F. Conditional random fields: Probabilistic models for segmenting and labeling sequence data［C］// Proceedings of the 18th International Conference on Machine Learning. 2001:282-289.
［9］	邵诗韵，周宇，杨蕾，等. 基于条件随机场的电力工程标书文本实体识别方法［J］. 计算机与现代化， 2020（12）:72-77.
［10］	张磊. 特定领域的命名实体识别方法的研究［J］. 计算机与现代化， 2018（3）:60-64.
［11］	万静，涂喆，冯晓. 基于条件随机场的医药领域症状信息抽取［J］. 北京化工大学学报（自然科学版）， 2016，43（1）:98-103.
［12］	高佳奕，刘震，杨涛，等. 基于条件随机场的中医临床医案症状命名实体抽取研究［J］. 世界科学技术-中医药现代化， 2020，22（6）:1947-1954.
［13］	HUANG Z H， XU W， YU K. Bidirectional LSTM-CRF models for sequence tagging［J］. arXiv preprint arXiv:1508.01991， 2015.
［14］	HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997，9（8）:1735-1780.
［15］	GAJENDRAN S， MANJULA D， SUGUMARAN V. Character level and word level embedding with bidirectional LSTM-
	Dynamic recurrent neural network for biomedical named entity recognition from literature［J］. Journal of Biomedical Informatics， 2020，112. OI:10.1016/j.jbi.2020.103609.
［16］	CHO M， HA J， PARK C， et al. Combinatorial feature embedding based on CNN and LSTM for biomedical named entity recognition［J］. Journal of Biomedical Informatics，2020，103. DOI: 10.1016/j.jbi.2020.103381.
［17］	殷章志，李欣子，黄德根，等. 融合字词模型的中文命名实体识别研究［J］. 中文信息学报， 2019，33（11）:95-100.
［18］	冯云霞，衣鹏，韩正亮，等. 基于CNN-BGRU-CRF的中文电子病历实体抽取方法［J］. 计算机与现代化， 2020 （11）:60-64.
［19］	张艺品，关贝，吕荫润，等. 深度学习基础上的中医实体抽取方法研究［J］. 医学信息学杂志， 2019，40（2）:58-63.
［20］	高甦，金佩，张德政. 基于深度学习的中医典籍命名实体识别研究［J］. 情报工程， 2019，5（1）:113-123.
［21］	牧杨子. 基于半监督学习的中文电子病历实体识别和实体关系抽取研究［D］. 海口:海南大学， 2018.
［22］	何家欢，刘勇国，蒋羽，等. 藏药药理命名实体识别［J］. 医学信息学杂志， 2020，41（4）:30-36.
［23］	王银瑞，彭敦陆，陈章，等. Trans-NER:一种迁移学习支持下的中文命名实体识别模型［J］. 小型微型计算机系统， 2019，40（8）:1622-1626.
［24］	朱岩，张利，王煜. 基于RoBERTa-WWM的中文电子病历命名实体识别［J］. 计算机与现代化， 2021（2）:51-55.
［25］	景慎旗，赵又霖. 面向中文电子病历文书的医学命名实体识别研究——一种基于半监督深度学习的方法［J］. 信息资源管理学报， 2021，11（6）:105-115.
［26］	DEVLIN J， CHANG M W， LEE K， et al. BERT: Pre-training of deep bidirectional transformers for language understanding［J］. arXiv preprint arXiv:1810.04805， 2018.
［27］	LAMPLE G， BALLESTEROS M， SUBRAMANIAN S， et al. Neural architectures for named entity recognition［C］// Proceedings of 2016 North American Chapter of the Association for Computational Linguistics-Human Language Technologies. 2016:260-270.
［28］	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. 2017:6000-6010.
［29］	丹曲. 简述藏医学名著《四部医典》及其影响［J］. 中央民族学院学报（哲学社会科学版）， 1987（6）:88-91.

[1]	郑立瑞, 肖晓霞, 邹北骥, 刘彬, 周展. 基于BERT的电子病历命名实体识别[J]. 计算机与现代化, 2024, 0(01): 87-91.
[2]	刘玉鹏, 葛艳, 杜军威, 陈卓. 融合FGM和指针标注的实体关系联合抽取方法[J]. 计算机与现代化, 2023, 0(11): 1-5.
[3]	唐诗琪, 周瑞平, 谢仕斌, 刘梦赤, 肖文, . 基于栈式降噪编码器的跨语言多标签情感分类[J]. 计算机与现代化, 2023, 0(11): 6-12.
[4]	李诗月, 孟佳娜, 于玉海, 李雪莹, 许英傲. 基于知识增强的方面级情感分析方法[J]. 计算机与现代化, 2023, 0(10): 1-8.
[5]	于韬, 张英, 拥措, . 基于小样本学习的藏文命名实体识别[J]. 计算机与现代化, 2023, 0(05): 13-19.
[6]	谢世超, 黄蔚, 任祥辉. 一种基于BERT的文本实体链接方法[J]. 计算机与现代化, 2023, 0(02): 58-61.
[7]	于清, 马志龙, 徐春. 基于BERT和非自回归的医疗知识抽取[J]. 计算机与现代化, 2023, 0(01): 120-126.
[8]	黄忠祥, 李明. ALBERT结合双向网络的文本分类[J]. 计算机与现代化, 2022, 0(10): 8-12.
[9]	于鹏, 陈钰枫, 徐金安, 张玉洁. 基于多任务学习的电子病历实体识别方法[J]. 计算机与现代化, 2022, 0(09): 40-50.
[10]	张军, 邱龙龙. 一种基于BERT和池化操作的文本分类模型[J]. 计算机与现代化, 2022, 0(06): 1-7.
[11]	陈钢. 融合RoBERTa和特征提取的政务热线工单分类[J]. 计算机与现代化, 2022, 0(06): 21-26.
[12]	樊海玮, 秦佳杰, 孙欢, 张丽苗, 鲁芯丝雨. 基于BERT与BiGRU-CRF的交通事故文本信息提取模型[J]. 计算机与现代化, 2022, 0(05): 10-15.
[13]	孙义栋, 拥措, 杨丹, . 基于VOLT的藏汉双向机器翻译[J]. 计算机与现代化, 2022, 0(05): 28-32.
[14]	杨政, 蔡迪, 李慧斌. 基于层次化表示的电力文本命名实体识别和匹配算法[J]. 计算机与现代化, 2022, 0(05): 75-81.
[15]	李健, 张克亮, 唐亮, 夏榕璟, 任静静. 面向中文命名实体识别任务的数据增强[J]. 计算机与现代化, 2022, 0(04): 1-6.