基于条件随机场的电力工程标书文本实体识别方法

计算机与现代化 ›› 2020, Vol. 0 ›› Issue (12): 72-77.

基于条件随机场的电力工程标书文本实体识别方法

（1.江西师范大学计算机信息工程学院，江西南昌330022； 2.江西省电力公司，江西南昌330077；
3.江西省科学院，江西南昌330096； 4.国网甘肃省电力公司信息通信公司，甘肃兰州730000）

出版日期:2021-01-07 发布日期:2021-01-07
作者简介:邵诗韵(1996—)，女，浙江宁波人，硕士，研究方向：数据科学与自然语言处理，E-mail: shiyunssy@163.com；周宇（1966—），男，高级工程师，硕士，研究方向：电力信息化，E-mail: zhouyu1966@163.com；杨蕾(1993—)，女，助理工程师，硕士，研究方向：能源经济，能源与环境系统工程，E-mail: 594410749@qq.com；通信作者：钟茂生(1974—)，男，教授，博士，研究方向：人工智能与自然语言处理，E-mail: zhongmaosheng@sina.com; 戴芮（1988—），女，工程师，硕士，研究方向：电力信息化，E-mail： smiledairy@126.com.cn；赵家乐（1996—），男，硕士研究生，研究方向：数据安全检索和工作流优化，E-mail: zhaojiale0415@163.com。
基金资助:
江西省重点研发计划项目(20181A50029)

An Efficient Entity Identification Method for Electric Bidding Documents Based on Conditional Random Field

(1. School of Computer and Information Engineering, Jiangxi Normal University, Nanchang 330022, China;
2. Jiangxi Electric Power Company, Nanchang 330077, China; 3. Jiangxi Academy of Sciences, Nanchang 330096, China;
4. State Grid Gansu Information & Telecommunication Company, Lanzhou 730000, China)

Online:2021-01-07 Published:2021-01-07

摘要/Abstract

摘要： 近年来，随着国家经济的飞速发展，电力建设工程投资快速增加，电力建设工程标书数量及相应的工程标书评审工作量也急剧增加。传统的纯人工标书评审耗时、耗力且速度慢。要实现工程标书的机器自动评审，就需要对标书进行关键内容自动抽取和摘要，标书文本中的实体识别是关键步骤。鉴于工程标书中有很多非常用词语组合存在，现有的技术对工程标书中的地名等实体的识别效果并不理想。针对上述问题，本文提出并设计一种基于条件随机场的电力工程标书的实体识别技术方案，通过机器实现对标书的自动化快速处理，并帮助实现关键性工程的电子化评估和数据共享。该方法已在实验中证实了其有效性，并已被应用到电力领域的文件自动化处理事务中。

关键词: 电力标书, 条件随机场模型, 实体识别, 自动处理, 监督学习

Abstract: In recent years, with the rapid development of the national economy, the investment in power construction projects has increased rapidly. Both the number of the associated tenders and the corresponding workload of evaluation have soared. The conventional manual method for assessment is time-consuming, costly, and inefficient. For improving the efficiency of the bid review and reducing the related costs, it is ideal to take advantage of automatic or semi-automatic analysis. Among the adoption of machine-assisted, the entity identification in the tender text, definitely, plays an essential role in information extraction and text summarization. Since there are many complex and a hybrid combination of words in text like location names, the existing recognition technology does not perform well. In this paper, we propose an application-friendly critical information extraction method based on the conditional random fields (CRF), which realizes the automatic and rapid processing of tenders and accelerates the re-assessment of various engineering construction projects and data sharing. Our proposed mechanism has got an experimental verification of efficiency. It has been employed to the automatic transactions in the power sector.

Key words: electric bidding documents, conditional random field model, entity identification, automatically read, supervised learning

邵诗韵, 周宇, 杨蕾, 钟茂生, 戴芮, 赵家乐. 基于条件随机场的电力工程标书文本实体识别方法[J]. 计算机与现代化, 2020, 0(12): 72-77.

SHAO Shi-yun, ZHOU Yu, YANG Lei, ZHONG Mao-sheng, DAI Rui, ZHAO Jia-le. An Efficient Entity Identification Method for Electric Bidding Documents Based on Conditional Random Field[J]. Computer and Modernization, 2020, 0(12): 72-77.

参考文献［20］

［1］	白玉强. 招标准备过程工作要则［J］. 石油化工设计, 2002,19(3):34-37.
［2］	张东霞,苗新,刘丽平,等. 智能电网大数据技术发展研究［J］. 中国电机工程学报, 2015,35(1):2-12.
［3］	彭小圣,邓迪元,程时杰,等. 面向智能电网应用的电力大数据关键技术［J］. 中国电机工程学报, 2015,35(3):503-511.
［4］	程学旗,靳小龙,王元卓,等. 大数据系统和分析技术综述［J］. 软件学报, 2014,25(9):1889-1908.
［5］	MANYIKA J, CHUI M, BROWN B, et al. Big Data: The Next Frontier for Innovation, Competition, and Productivity［R］. McKinsey Global Institute, 2011.
［6］	李学龙,龚海刚. 大数据系统综述［J］. 中国科学：信息科学, 2015,45(1):1-44.
［7］	JOHN W S, MAYER-SCHNBERGER V, CUKIER K. Big Data: A Revolution that Will Transform How We Live, Work, and Think［M］. Hodder and Stoughton, 2013.
	〖LL〗［8］俞士汶,朱学锋,耿立波. 自然语言处理技术与语言深度计算［J］. 中国社会科学, 2015(3):127-135.
［9］	王宇,邵洪雨. 基于主题词提取的国内自然语言处理研究现状分析［J］. 情报科学, 2013,31(3):151-155.
［10］	王灿辉,张敏,马少平. 自然语言处理在信息检索中的应用综述［J］. 中文信息学报, 2007,21(2):35-45.
［11］	NADEAU D, SEKINE S. A survey of named entity recognition and classification［J］. Lingvisticae Investigations, 2007,30(1):3-26.
［12］	ZHOU G D, SU J. Named entity recognition using an HMM-based chunk tagger［C］// Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics. 2002:473-480.
［13］	杨锦锋,于秋滨,关毅,等. 电子病历命名实体识别和实体关系抽取研究综述［J］. 自动化学报, 2014,40(8):1537-1562.
［14］	邹涛. 一种电子产品领域命名实体识别方法研究［D］. 西安:西安电子科技大学, 2010.
［15］	何炎祥,罗楚威,胡彬尧. 基于CRF和规则相结合的地理命名实体识别方法［J］. 计算机应用与软件, 2015,32(1):179-185.
［16］	付瑞吉. 开放域命名实体识别及其层次化类别获取［D］. 哈尔滨:哈尔滨工业大学, 2014.
［17］	LOPER E, BIRD S. NLTK: The natural language toolkit［C］// Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics. 2006:DOI:10.3115/1225403.1225421.
［18］	FINKEL J R, GRENAGER T, MANNING C D. Incorporating non-local information into information extraction systems by Gibbs sampling［C］// Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics(ACL’05). 2005:363-370.
［19］	HONNIBAL M， MONTANI I. SpaCy 2: Natural Languange Understanding with Bloon Embedings, Convolutional Neural Networks and Incremental Parsing［EB/OL］. (2018-01-13)［2020-07-20］. https://explosion.ai/blog/year-in-review-2017/.
［20］	张华平. NLPIR-ICTCLAS汉语分词系统［EB/OL］. ［2020-06-05］. http://ictclas.nlpir.org/.

[1]	李希敏, 李书琪. 基于粗糙集的多源数据库缓存冲突自动处理方法[J]. 计算机与现代化, 2020, 0(10): 36-39.
[2]	张宁, 黄庭培, 蔡丽萍, 李世宝. 基于卷积神经网络的高速无线局域网分组丢失和错误原因识别方法[J]. 计算机与现代化, 2020, 0(06): 14-.
[3]	马吉科,尹飞,祝永晋,豆龙龙,李剑. 一种应用半监督学习的计量装置运行状态辨识方法[J]. 计算机与现代化, 2020, 0(03): 82-.
[4]	张磊. 特定领域的命名实体识别方法的研究[J]. 计算机与现代化, 2018, 0(03): 60-.
[5]	张剑，吴青，羊昕旖，王彬聪，吴宣为，徐向英，吕强. 基于条件随机场的农业命名实体识别[J]. 计算机与现代化, 2018, 0(01): 123-126.
[6]	孙震，王敬东，茅天诒，魏雪迎. 基于自监督学习的河流分割方法[J]. 计算机与现代化, 2017, 0(10): 10-14.
[7]	李荣，王华君，徐燕华，孟德建. 基于监督超向量编码和自适应GMM的人脸表情识别方法[J]. 计算机与现代化, 2016, 0(2): 15-20.
[8]	吴非，毛宇光. 一种基于k维树的模糊C均值聚类算法[J]. 计算机与现代化, 2015, 0(11): 1-5+11.
[9]	宁波，宋砚. 基于无监督方法的视频中的人物识别[J]. 计算机与现代化, 2014, 0(12): 49-53.
[10]	丛雪燕. 基于误差模型的混合分类算法[J]. 计算机与现代化, 2014, 0(1): 100-103,125.
[11]	武永成. 基于多视图未标记数据的机器学习[J]. 计算机与现代化, 2013, 1(3): 96-98.
[12]	张夏欢;李玉鑑;张晨光. 正例半监督学习眉毛图像分割[J]. 计算机与现代化, 2012, 1(9): 127-133.
[13]	吕刚郝平. 基于权值模板和监督学习的验证码识别 [J]. 计算机与现代化, 2010, 1(12): 40-43.
[14]	卢加磊朱世华丁香乾黄跃华. 基于Cotraining的烟草原料数据优化分析[J]. 计算机与现代化, 2010, 1(02): 176-179.