基于LDA模型和AP聚类的主题事件抽取技术

doi:10.3969/j.issn.1006-2475.2017.12.015

计算机与现代化

基于LDA模型和AP聚类的主题事件抽取技术

(华北计算技术研究所,北京100083)

收稿日期:2017-05-17 出版日期:2017-12-25 发布日期:2017-12-26
作者简介:张建恒(1991-),男,北京人,华北计算技术研究所硕士研究生,研究方向：大数据处理，自然语言处理；黄蔚(1972-),女,研究员,硕士,研究方向：大数据处理整合与挖掘分析；胡国超(1982-),男,工程师,硕士,研究方向：大数据处理整合与挖掘分析。

Topic Event Extraction Technology Based on LDA Model and AP Clustering Method

(North China Institute of Computing Technology, Beijing 100083, China)

Received:2017-05-17 Online:2017-12-25 Published:2017-12-26

摘要/Abstract

摘要： 目前，事件抽取技术一般是对文本的事件信息进行直接抽取，忽略了文本的信息结构，并且抽取结果易受文本词语分布的影响。本文对文本的概念层级结构进行分析，并提出一种基于二次聚类并再划分的主题事件抽取方法。该方法可以提取文本的主题-事件层次化信息，并通过信息词的二次提取减小相关事件信息的干扰，优化抽取结果，并利用事件时间轴展示出事件的发展状态信息。实验结果表明本方法可以有效地提取文本的主题事件信息。

关键词: 主题事件抽取, LDA主题模型, AP聚类, 层次化信息, 二次提取

Abstract: At present, the event extraction technology is usually the direct extraction of the event information of the text, ignoring the information structure of text, and the result is susceptible to the distribution of the words in texts. This paper analyzes the hierarchical concept structure of the text, and proposes a method of extracting the topic event information of news based on two-stage clustering and subdividing. This method can extract the hierarchical topic-event information, and reduce the influence of the information of the relevant events by the two-stage extraction of information words. This way optimizes the performance of the extraction. And experiment shows that this method can extract the topic event information of the text effectively.

Key words: topic event extraction, LDA topic model, AP clustering method, hierarchical information, two-stage extraction

中图分类号:

TP391.1

张建恒，黄蔚，胡国超. 基于LDA模型和AP聚类的主题事件抽取技术[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2017.12.015.

ZHANG Jian-heng, HUANG Wei, HU Guo-chao. Topic Event Extraction Technology Based on LDA Model and AP Clustering Method[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2017.12.015.

参考文献

［1］高强，游宏梁. 事件抽取技术研究综述［J］. 情报理论与实践, 2013,36(4):114-117. ［2］Zhou Deyu， Chen Liangyu， He Yulan. A simple Bayesian modelling approach to event extraction from Twitter［C］//Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL). 2014：700-705. ［3］唐浩浩，席耀一，周杰，等. 基于维基知识的微博事件追踪方法［J］. 计算机应用与软件, 2015,32(10):21-25. ［4］陈箫箫，刘波. 微博中的开放域事件抽取［J］. 计算机应用与软件, 2016,33(8):18-22. ［5］吴刚. 基于主题的中文事件抽取技术研究与应用［D］. 苏州：苏州大学, 2009. ［6］韩永峰，许旭阳，李弼程，等. 基于事件抽取的网络新闻多文档自动摘要［J］. 中文信息学报, 2012,26(1):58-66. ［7］邹晓辉，孙静. LDA主题模型［J］. 智能计算机与应用, 2014,4(5):105-106. ［8］张志飞，苗夺谦，高灿. 基于LDA主题模型的短文本分类方法［J］. 计算机应用, 2013,33(6):1587-1590. ［9］胡吉明，陈果. 基于动态LDA主题模型的内容主题挖掘与演化［J］. 图书情报工作, 2014,58(2):138-142. ［10］Soucy P， Mineau G W. Beyond TFIDF weighting for text categorization in the vector space model［J］. International Joint Conference on Artificial Intelligence, 2005,26(2):1130-1135. ［11］Heinrich G. Parameter Estimation for Text Analysis［R］. Fraunhofer IGD, Darmstadt, Germany, 2008. ［12］余艳. 融合KL散度和移地距离的高斯混合模型相似性度量方法［J］. 计算机应用, 2014,34(3):828-832. ［13］Frey B J, Dueck D. Clustering by passing messages between data points［J］. Science, 2007,315(5814):972-976. ［14］Gui Bin, Yang Xiaoping, Zhang Zhongxia, et al. Research on affinity propagation clustering［J］. Journal of Shanxi University(Natural Science Edition), 2014(1). ［15］Kumarshrivastava S， Rana J L， Jain R C. Text document clustering based on phrase similarity using affinity propagation［J］. International Journal of Computer Applications, 2013,61(18):38-44. ［16］倪丽萍,刘小军,马驰宇. 基于LDA模型和AP聚类的主题演化分析［J］. 计算机技术与发展, 2016,26(12):6-11. ［17］孙兴东，李爱平，李树栋. 一种基于聚类的微博关键词提取方法的研究与实现［J］. 信息网络安全, 2014(12):27-31. ［18］Mihalcea R， Tarau P. TextRank: Bringing order into texts［C］//Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing. 2004:404-411.

[1]	文勇军, 何环晶, 唐立军, . 基于LDA的隐式标签协同过滤推荐算法[J]. 计算机与现代化, 2022, 0(03): 53-58.
[2]	叶家琪1，符强1，2，贺亦甲1，叶浩1 . 基于聚类集成的蚁群算法求解大规模TSP问题[J]. 计算机与现代化, 2020, 0(02): 31-.
[3]	冷泳林. 基于MapReduce的分布式AP聚类算法[J]. 计算机与现代化, 2014, 0(10): 104-107.

基于LDA模型和AP聚类的主题事件抽取技术

Topic Event Extraction Technology Based on LDA Model and AP Clustering Method

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 3

编辑推荐

Metrics

本文评价