基于MapReduce的分布式AP聚类算法

doi:10.3969/j.issn.1006-2475.2014.10.024

计算机与现代化

基于MapReduce的分布式AP聚类算法

渤海大学信息科学与技术学院，辽宁锦州121001

收稿日期:2014-07-22 出版日期:2014-11-03 发布日期:2014-11-05
作者简介:冷泳林(1978-),女,辽宁营口人,渤海大学信息科学与技术学院讲师,博士研究生,研究方向:数据挖掘,大数据处理。
基金资助:
辽宁省自然科学基金资助项目(2013020014)

Distributed AP Clustering Algorithm Based on MapReduce

College of Information Science and Technology, Bohai University, Jinzhou 121001, China

Received:2014-07-22 Online:2014-11-03 Published:2014-11-05

摘要/Abstract

摘要： 随着网络的普遍应用，网络中产生的数据急剧增长，大规模数据处理面临严峻挑战。本文在对AP聚类算法进行研究的基础上，利用MapReduce编程模型思想对AP聚类算法进行改进，设计在云平台Hadoop环境下运行的基于MapReduce的分布式AP聚类算法，并在实验中对不同规模的图数据进行聚类测试，实验结果表明分布式的AP聚类算法具有很好的时间效率和加速比。


关键词: MapReduce模型, 分布式AP聚类算法, Hadoop

Abstract: With the extensive application of network, and the data of network grows rapidly, the process of big data faces severe challenge. After studying the AP clustering algorithm, we improved the AP clustering algorithm based on MapReduce model and designed a distributed AP clustering algorithm based on MapReduce in the cloud platform of Hadoop. We examined the distributed AP clustering algorithm on different size of graph data. The result shows that the distributed AP clustering algorithm is of good efficiency and speedup time.


Key words: MapReduce model, distributed AP clustering algorithm, Hadoop

中图分类号:

TP311

冷泳林. 基于MapReduce的分布式AP聚类算法[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2014.10.024.

LENG Yong-lin. Distributed AP Clustering Algorithm Based on MapReduce[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2014.10.024.

参考文献

［1］ Frey B J, Dueck D. Clustering by passing messages between data points［J］. Science, 2007,315(5814):972-976.
［2］杜晨阳. 分布式聚类算法研究与应用［D］. 杭州:浙江大学, 2011.
［3］ Wikipedia. MapReduce［EB/OL］. http://zh.wikipedia.org/wiki/MapReduce, 2011-10-16.
［4］刘晓勇,付辉. 一种快速AP聚类算法［J］. 山东大学学报(工学版), 2011,41(4):20-23.
［5］朱牧,孟凡荣,周勇. 基于仿射传播的有向网络聚类算法［J］. 计算机应用研究, 2013,30(7):1950-1952.
［6］冯晓磊. 近邻传播聚类算法研究［D］. 郑州:解放军信息工程大学, 2011.
［7］陈宫,牛秦洲. 基于MapReduce的PageRank算法的研究［J］. 微电子学与计算机, 2012,29(5):81-85.
［8］江务学,张璟,王志明. MapReduce并行编程架构模型研究［J］. 微电子学与计算机, 2011,28(6):168-170.
［9］ Chang F, Dean J, Ghemawat S, et al. Bigtable:A distributed storage system for structured data［J］. ACM Transactions on Computer Systems, 2007,26(2):1-26.
［10］李玉林,董晶. 基于Hadoop的MapReduce模型的研究与改进［J］. 计算机工程与设计, 2012,33(8):3110-3116.
［11］郑启龙,房名,汪胜,等. 基于MapReduce模型的并行科学计算［J］. 微电子学与计算机, 2009,26(8):13-17.
［12］鲁伟明,杜晨阳,魏宝刚,等. 基于MapReduce的分布式近邻传播聚类算法［J］. 计算机研究与发展, 2012,49(8):1762-1772.
［13］江小平,李成华,向文,等. K-means聚类算法的MapReduce并行化实现［J］. 华中科技大学学报(自然科学版), 2011,39(S1):120-124.
［14］温程. 并行聚类算法在MapReduce上的实现［D］. 杭州:浙江大学, 2011.
［15］Tang Jie, Sun Jimeng, Wang Chi, et al. Social influence analysis in large-scale networks［C］// Proceedings of the 15th ACM SIGKDD International Conference in Knowledge Discovery and Data Mining. 2009:807-816.
［16］Jeh G, Widom J. SimRank:A measure of structural-context similarity［C］// Proceedings of the 8th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2002:538-543.
［17］ Farsani K H, Nematbaksh M A, Lausen G. Structure/attribute computation of similarities between nodes of a RDF graph with application to linked data clustering［J］. Intelligent Data Analysis, 2013,17(2):179-194.

[1]	张军, 苏文浩 . 基于LZO的Hadoop文件归档优化方法[J]. 计算机与现代化, 2023, 0(06): 1-6.
[2]	苏林萍，安然，李为，崔文超，张晓良. 基于Hadoop的电力运维审计系统的设计[J]. 计算机与现代化, 2020, 0(01): 49-.
[3]	宋阳，石鸿雁. 基于MapReduce框架下的K-means聚类算法的改进[J]. 计算机与现代化, 2019, 0(08): 28-.
[4]	周天绮. 基于移动通信大数据的城市人口空间分布统计[J]. 计算机与现代化, 2018, 0(05): 45-.
[5]	温贺平1,鲍晶晶2,柯居鑫1,刘树威1. 基于Hadoop的Lorenz超混沌加密算法设计[J]. 计算机与现代化, 2018, 0(03): 108-.
[6]	朱珊，艾丽华. 基于Hadoop的大规模图像存储与检索[J]. 计算机与现代化, 2017, 0(6): 61-66+83.
[7]	李程，柴小丽，谢彬，唐鹏. 一种Hadoop YARN的资源调度机制[J]. 计算机与现代化, 2017, 0(11): 29-34.
[8]	张进，冯钧，陆佳民. 基于Hadoop的空间关键字索引方法[J]. 计算机与现代化, 2017, 0(11): 76-83.
[9]	冯钧，徐维纲，冯读庆，陆佳民，徐欢. 面向海量水利数据的索引方法研究[J]. 计算机与现代化, 2017, 0(10): 29-35,41.
[10]	李娜，陈正鸣，吕嘉，刘春芳. HDFS访问中间件的事务设计与实现[J]. 计算机与现代化, 2017, 0(1): 46-50.
[11]	孙立华1，胡牧1，孟庆强1，钱亚康1，王松2. 配网线损大数据高性能计算解决方案[J]. 计算机与现代化, 2016, 0(12): 42-46,50.
[12]	徐欢1,冯钧1,张鹏程1,唐志贤2,刘艺1,陈志飞1,张立霞1. 基于Hadoop的分布式CIF四叉树索引方法[J]. 计算机与现代化, 2016, 0(11): 12-19,24.
[13]	祁鹏年,朱晋,郝君慧,许丰平. 异构环境下Hadoop推测执行算法[J]. 计算机与现代化, 2015, 0(8): 80-83,88.
[14]	胡龙,罗军. 基于MapReduce的混合连接算法[J]. 计算机与现代化, 2015, 0(6): 86-91.
[15]	王宾,刘钊远. 基于Rsync的远程文件同步优化模型[J]. 计算机与现代化, 2015, 0(4): 10-13.

基于MapReduce的分布式AP聚类算法

Distributed AP Clustering Algorithm Based on MapReduce

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价