一种基于语义分析的热点新闻发现方法

doi:10.3969/j.issn.1006-2475.2017.06.006

计算机与现代化

一种基于语义分析的热点新闻发现方法

(南京理工大学计算机科学与工程学院，江苏南京 210094)

收稿日期:2016-11-16 出版日期:2017-06-23 发布日期:2017-06-23
作者简介:曹通(1990-)，男，江苏宿迁人，南京理工大学计算机科学与工程学院硕士研究生，研究方向：自然语言处理，数据挖掘。

A News Hot Spot Detection Method Based on Semantic Analysis

(School of Computer Science and Engineering, Nanjing University of Science and Technology, Nanjing 210094, China)

Received:2016-11-16 Online:2017-06-23 Published:2017-06-23

摘要/Abstract

摘要： 随着互联网的发展和普及，互联网新闻报道已是人们获取社会信息的主要手段，如何快速准确地获取互联网新闻热点话题是一个急需解决的问题。本文使用LDA(Latent Dirichlet Allocation)和BTM(Biterm Topic Model)主题模型，充分考虑新闻标题和新闻正文对新闻热点检测影响的不同，分别对新闻的正文和标题进行语义分析，新闻标题使用BTM模型，新闻正文使用LDA模型，提取主题特征向量，并将2种语义特征进行融合，形成全文的语义特征，然后通过改进的聚类算法，进行聚类，在此基础上引入新闻热度的定义，通过热度公式计算新闻的热度，利用计算出的热度值排序得到最近一段时间的热点新闻。通过在爬取的新闻数据上的实验，验证了本文方法的有效性和实用性。

关键词: 隐含语义分析, 新闻热度, 话题检测, LDA与BTM模型

Abstract: With the development and popularization of the Internet, Internet news reports are the main means for people to get social information. How to get the hot topic of Internet news quickly and accurately is an urgent problem to be solved. This paper uses the theme model of LDA (Latent Dirichlet Allocation) and BTM (Biterm Topic Model), fully considering the different impacts of news headlines and news content on news hot spot detection, to make the semantic analysis of news content and title respectively. By using the BTM model for news headlines and the LDA model for news content, we extract the feature vectors of the topic and combine the two semantic features to form the semantic feature of the whole text. Then, through improved clustering algorithm, the number of documents belonging to each topic is calculated. On this basis, by defining the news heat and using the news heat formula, the news heat is calculated to get the most recent hot news through ordering the news heat values. Through the experiments on the crawling news data, the validity and practicability of the method are verified.

Key words: latent semantic analysis, news heat, topic detection, LDA and BTM model

中图分类号:

TP391

曹通. 一种基于语义分析的热点新闻发现方法[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2017.06.006.

CAO Tong. A News Hot Spot Detection Method Based on Semantic Analysis[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2017.06.006.

参考文献

[1] 曾依灵,许洪波. 网络热点信息发现研究[J]. 通信学报, 2007,28(12):141-146.

[2]孙学刚,陈群秀,马亮. 基于主题的Web文档聚类研究[J]. 中文信息学报, 2003,17(3):21-26.

[3] 周亚东,孙钦东,管晓宏,等. 流量内容词语相关度的网络热点话题提取[J]. 西安交通大学学报, 2007,41(10):1142-1145.

[4] 王巍,杨武,齐海凤. 基于多中心模型的网络热点话题发现算法[J]. 南京理工大学学报(自然科学版), 2009,33(4):422-426.

[5]武高敏,张宇晨,韩京宇. 基于隐含语义分析的在线新闻话题发现方法[J]. 计算机技术与发展, 2016,26(9):1-7.

[6] 姚占雷,许鑫. 互联网新闻报道中的突发事件识别研究[J]. 现代图书情报技术, 2011,27(4):52-57.

[7] 王馨,王煜,王亮. 基于新词发现的网络新闻热点排名[J]. 图书情报工作, 2015,59(6):68-74.

[8] 万晓霞,赵佳. 基于聚类的网络新闻热点发现研究[J]. 现代计算机(专业版), 2015(26):36-39.

[9] 戴天,吴渝,雷大江. 利用组合模型生成微博热点话题事件摘要[J]. 计算机应用研究, 2016,33(7):2026-2029.

[10] 宗慧,刘金岭. 基于短文本信息流的热点话题检测[J]. 数据采集与处理, 2015,30(2):464-468.

[11]方星星,吕永强. 基于改进的single-pass网络舆情话题发现研究[J]. 计算机与数字工程, 2014,42(7):1233-1237.

[12] 曲武,王莉军,韩晓光. 云环境下基于LSH的分布式数据流聚类算法[J]. 计算机科学, 2014,41(11):195-202.

[13] Zhang Huaping, Yu Hongkui, Xiong Deyi, et al. HHMM-based Chinese lexical analyzer ICTCLAS[C]// Proceedings of the 2nd SIGHAN Workshop on Chinese Language Processing. 2003:184-187.

[14] Blei D M, Ng A Y, Jordan M I. Latent Dirichlet allocation[J]. Journal of Machine Learning Research, 2003,3:993-1022.

[15] Cheng Xueqi, Yan Xiaohui, Lan Yanyan, et al. BTM: Topic modeling over short texts[J]. IEEE Transactions on Knowledge and Data Engineering, 2014,26(12):2928-2941.

[16] Fuglede B, Topsoe F. Jensen-Shannon divergence and Hilbert space embedding[C]// Proceedings of the 2004 International Symposium on Information Theory. 2004.

[17] 迟呈英,李红. 基于改进TF*PDF算法的网络新闻热点话题检测和跟踪[J]. 计算机应用与软件, 2013,30(12):311-314.

一种基于语义分析的热点新闻发现方法

A News Hot Spot Detection Method Based on Semantic Analysis

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 3

编辑推荐

Metrics

本文评价

[1]	李洪利，王箭. 基于用户关联的热点话题检测方法[J]. 计算机与现代化, 2015, 0(4): 20-25,30.
[2]	张昭，艾中良. 一种基于用户关联分析的热点话题识别算法[J]. 计算机与现代化, 2014, 0(1): 156-160,163.
[3]	黄颖. LDA及主题词相关性的新事件检测[J]. 计算机与现代化, 2012, 1(1): 6-9,13.