高性能计算平台的IO性能测试与分析

doi:10.3969/j.issn.1006-2475.2011.06.045

计算机与现代化 ›› 2011, Vol. 1 ›› Issue (6): 160-5.doi: 10.3969/j.issn.1006-2475.2011.06.045

高性能计算平台的IO性能测试与分析

李亮¹, 聂瑞华²

1.华南师范大学计算机学院，广东广州 510631； 2.华南师范大学网络中心，广东广州 51063

收稿日期:2011-03-10 修回日期:1900-01-01 出版日期:2011-06-29 发布日期:2011-06-29

Test and Analysis of IO Performance on High Performance Computing Platform

LI Liang¹, NIE Rui-hua²

1.School of Computer, South China Normal University, Guangzhou 510631, China;2.Network Center, South China Normal University, Guangzhou 510631, China

Received:2011-03-10 Revised:1900-01-01 Online:2011-06-29 Published:2011-06-29

摘要/Abstract

摘要： 在高性能计算平台上测试NFS和Lustre文件系统在大规模并行计算环境下的IO速率，根据测试结果分析该实验平台的IO瓶颈并提出改进方案；之后测试本地Cache、并行应用进行IO时的TransferSize和并行程序存取文件的FileSize等因素对分布式文件系统性能的影响，并根据实验结果提出如何合理地部署并行软件以有效地利用本地Cache，以及提出在编写并行程序时设置合适的TransferSize和FileSize以提高IO性能的建议。

关键词: 高性能计算, 并行IO性能, 并行文件系统, IO性能测试, Lustre文件系统

Abstract: This paper tests the performance of NFS and Lustre file system in the large scale distributed computing environment on high performance computing platform. According to the results, the IO bottleneck is known in this high performance computing platform and an advice is given to improve the IO performance to solve the bottleneck problem. Then this paper tests how the local cache, file’s size and transferSize affect the parallel filesystems’ IO performance, and proposes how to deploy the parallel applications and write the parallel programs efficiently to improve the IO performance. 

Key words: high performance computing, parallel IO performance, parallel file system, IO performance testing, Lustre file system

李亮;聂瑞华. 高性能计算平台的IO性能测试与分析[J]. 计算机与现代化, 2011, 1(6): 160-5.

LI Liang;NIE Rui-hua. Test and Analysis of IO Performance on High Performance Computing Platform[J]. Computer and Modernization, 2011, 1(6): 160-5.

[1]	吴志平, 刘波平, 王康, 李石滨, 胡毕炜, 胡必伟, 游杰. 基于高性能计算的离散介质冲击过程[J]. 计算机与现代化, 2022, 0(10): 41-46.
[2]	赵春燕, 孙婧, 胡江凯, 周斌. 气象高性能计算环境中模式协同研发管理[J]. 计算机与现代化, 2022, 0(06): 49-55.
[3]	杨双浩1，2 . 利用网格计算加速基因大数据分析的方法实现[J]. 计算机与现代化, 2019, 0(08): 85-.
[4]	王康1,2，杨运平1,2，刘波平1,2，付康1,2，吴志平1,2，尹敏1,2. 面向材料科学研究的新型高性能计算平台系统[J]. 计算机与现代化, 2019, 0(03): 39-.
[5]	韩菲，孙赞东，苏辉. 高性能计算集群的Linpack测试及其在大数据中的应用[J]. 计算机与现代化, 2015, 0(5): 25-29.
[6]	郑松. 基于Linux集群环境下的虚拟实验室的研究与设计 [J]. 计算机与现代化, 2010, 1(7): 140-144.

高性能计算平台的IO性能测试与分析

Test and Analysis of IO Performance on High Performance Computing Platform

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 6

编辑推荐

Metrics

本文评价