高性能计算集群的Linpack测试及其在大数据中的应用

doi:10.3969/j.issn.1006-2475.2015.05.006

计算机与现代化

高性能计算集群的Linpack测试及其在大数据中的应用

(中国石油大学(北京)地质地球物理综合研究中心，北京 102249)

收稿日期:2015-02-04 出版日期:2015-05-18 发布日期:2015-05-18
作者简介:韩菲(1985-)，女，黑龙江桦南人，中国石油大学(北京)地质地球物理综合研究中心博士研究生，研究方向：高性能计算，GPU并行计算; 通信作者：孙赞东(1961-)，男，湖北黄冈人，教授，博士生导师，博士，研究方向：人工智能及应用，可视化技术，应用地球物理方法; 苏辉(1990-)，男，系统工程师，本科，研究方向：系统安全与维护。
基金资助:
国家重点基础研究发展规划973项目(2011CB201103 ); 国家科技重大专项(2011ZX05004003)

Linpack Test of High Performance Computing Cluster and Its Application in Big Data

(Laboratory for Integration of Geology and Geophysics, China University of Petroleum, Beijing 102249, China)

Received:2015-02-04 Online:2015-05-18 Published:2015-05-18

摘要/Abstract

摘要： 高性能计算集群用于高效并行计算，具有很高的性价比和良好的可扩展性，如何测试和评价集群系统性能成为一个关键问题。本文基于6个节点的集群进行Linpack测试，测试不同问题规模、计算节点数、求解矩阵数据分块NB、处理器网格拓扑P×Q、网络通信等重要因素，将单机与集群的计算性能进行对比，测试集群性能，结果表明：该集群的并行计算性能良好，可扩展性强，但硬件通讯能力需进一步改善。应用该集群到实际的地震大数据计算中，该集群的并行计算能力得到了很大的提升。

关键词: Linpack, 高性能计算, 性能测试, 大数据

Abstract: High performance computing cluster for efficient parallel computing is of very high cost performance and good scalability. How to test and evaluate the cluster system performance becomes a key problem. In this paper, we made a Linpack test based on high performance computing cluster of 6 nodes. Different matrix scale N, computational nodes, block size NB of matrix, processor grid topology and network communication were tested. Computing performance to PC and cluster were compared and cluster performance was tested. The results show that: the cluster parallel computing performance is good and is of strong scalability, but the hardware communication ability should be further improved. The cluster is applied into the computing of the actual seismic big data. It is known that the parallel computing performance of the cluster has been improved greatly.

Key words: Linpack, high performance computing, performance test, big data

中图分类号:

TP393

韩菲，孙赞东，苏辉. 高性能计算集群的Linpack测试及其在大数据中的应用[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2015.05.006.

HAN Fei, SUN Zan-dong, SU Hui. Linpack Test of High Performance Computing Cluster and Its Application in Big Data[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2015.05.006.

参考文献

[1] 肖明旺,许坚,车永刚,等. 一个实用高性能PC集群的Linpack测试与分析[J]. 计算机应用研究, 2004,21(9):183-184.

[2] 张磊,姜弘道,潘海琳. 计算机集群的搭建、测试与应用[J]. 水利水电科技进展, 2006,26(2):65-69.

[3] 叶茂,缪纶,王志璋,等. 基于Linux和MPICH2的高性能科学计算集群搭建及其性能评测[J]. 中国水利水电科学研究院学报, 2009,7(4):302-306.

[4] 李铮,薛质. 基于Linux的高性能集群的构建和性能优化[J]. 信息技术, 2012(3):52-55.

[5] 邓超,朱星明. 高性能水利科学计算平台测试分析[J]. 中国水利水电科学研究院学报, 2009,7(1):51-56.

[6] 都志辉,吴博,刘鹏,等. Linpack与机群系统的Linpack测试[J]. 计算机科学, 2002,29(5):8-10.

[7] Netlib Repository. Linpack[DB/OL]. http://www.netlib.org/Linpack, 2008-09-10.

[8] Netlib Repository. HPL Algorithm[DB/OL]. http://www.netlib.org/benchmark/hpl/algorithm.html, 2008-09-10.

[9] 王晓英,都志辉. 基于HPL测试的集群系统性能分析与优化[J]. 计算机科学, 2005,32(11):231-234.

[10] 罗水华,杨广文,张林波,等. 并行集群系统的Linpack性能测试分析[J]. 数值计算与计算机应用, 2003(4):285-292.

[11] 余江洪,肖燕成,朱宗柏,等. 基于Linpack的高性能计算机集群的并行性能测试[J]. 船电技术, 2009,29(5):56-60.

[12] 黄铠,徐志伟. 可扩展并行计算:技术、结构与编程[M]. 北京:机械工业出版社, 2010.

[13] 李晓梅,莫则尧,胡庆丰,等. 可扩展并行算法的设计与分析[M]. 北京:国防工业出版社, 2000.

[14] 张文力,陈明宁,樊建平. HPL测试性能仿真与预测[J]. 计算机研究与发展, 2006,43(3):557-562.

[15] 李铮. 基于Linux的小型高性能集群的研究和优化[D]. 上海:上海交通大学, 2012.

高性能计算集群的Linpack测试及其在大数据中的应用

Linpack Test of High Performance Computing Cluster and Its Application in Big Data

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	周明升, 张雯. 一种面向多源数据的智慧园区管理平台[J]. 计算机与现代化, 2023, 0(05): 68-74.
[2]	吴志平, 刘波平, 王康, 李石滨, 胡毕炜, 胡必伟, 游杰. 基于高性能计算的离散介质冲击过程[J]. 计算机与现代化, 2022, 0(10): 41-46.
[3]	邱金水, 庄会富, 金涛. 面向海量植物图像的智能检索系统设计[J]. 计算机与现代化, 2022, 0(10): 62-67.
[4]	单珂, 张一鸣, 刘瑞霞, . 面向中原城市群的科技服务资源池研究与设计[J]. 计算机与现代化, 2022, 0(07): 91-96.
[5]	冼进. Android应用性能测试与监控技术[J]. 计算机与现代化, 2022, 0(07): 103-109.
[6]	赵春燕, 孙婧, 胡江凯, 周斌. 气象高性能计算环境中模式协同研发管理[J]. 计算机与现代化, 2022, 0(06): 49-55.
[7]	黄安琪, 苗放, 杨文晖, 倪雅婷, 蒋媛. 基于数据架构的结构化数据注册引擎设计[J]. 计算机与现代化, 2022, 0(05): 82-89.
[8]	曹禹, 李晓辉, 刘忠麟, 贾贺, 费志伟. 云环境大数据工作流编排管理系统研究综述[J]. 计算机与现代化, 2022, 0(01): 41-53.
[9]	张小芳, 冯慧芳. 基于轨迹大数据的动态最优路径规划[J]. 计算机与现代化, 2021, 0(11): 82-88.
[10]	李明, 陈积富, 易小荣, 刘书铭. 基于JFinal框架的洞庭湖环境监测系统[J]. 计算机与现代化, 2021, 0(10): 41-48.
[11]	魏云东. 基于大数据技术的人才智能推荐方法[J]. 计算机与现代化, 2021, 0(07): 60-64.
[12]	雷鸣, 姜罕盛, 武国良, 赵玉娟, 梁健. 基于HBase的大数据架构下负载平衡技术[J]. 计算机与现代化, 2021, 0(06): 91-95.
[13]	刘锋, 邹臣嵩, 崔炜. 大数据环境下基于K中心点优化算法的Web服务组合[J]. 计算机与现代化, 2020, 0(12): 20-24.
[14]	潘卫军, 刘皓晨, 王润东, 胡博文. 基于ANN的改进Spark系统在空管大数据处理中的应用[J]. 计算机与现代化, 2020, 0(12): 78-82.
[15]	周贤来. 基于语义分割的异构多核平台大数据挖掘算法[J]. 计算机与现代化, 2020, 0(10): 40-43.