基于PBS的勘探数据处理作业管理

doi:10.3969/j.issn.1006-2475.2014.02.028

计算机与现代化

基于PBS的勘探数据处理作业管理

（中国石油新疆油田分公司勘探开发研究院地球物理研究所，新疆乌鲁木齐 830013）

收稿日期:2013-10-21 出版日期:2014-02-14 发布日期:2014-02-14
作者简介:邹杰（1961-），男，山东烟台人，中国石油新疆油田分公司勘探开发研究院地球物理研究所工程师，本科，研究方向：高性能集群集成及运行维护；许涛（1973-），男，甘肃民勤人，高级工程师，硕士，研究方向：高性能集群软硬件环境建设；通信作者：林茂（1972-），男，高级工程师，硕士，研究方向：高性能集群维护及管理系统开发。

PBS-based Job Management for Exploration Data Processing

(Institute of Geophysics, Research Institute of Exploration and Development of Xinjiang Oilfield, PetroChina, Urumqi 830013, China)

Received:2013-10-21 Online:2014-02-14 Published:2014-02-14

摘要/Abstract

摘要： 高性能集群不具备作业自动调度和负载均衡的功能。采用开源的作业管理系统定制开发集群管理系统，解决集群“难用难管”的问题。作为一种开源的队列管理和作业调度系统，PBS目前已经广泛应用于集群管理当中。通过Shell脚本应用开发，将不同类型的应用作业转换为相应的PBS作业脚本纳入系统管理。利用PBS系统进行必要的定制开发工作，在较少改变科研人员工作习惯的前提下，实现Paradigm公司EPOS处理系统集群队列管理和作业分发管理。

关键词: 计算机集群, PBS, 勘探处理, 队列管理, 作业调度

Abstract: High performance cluster does not have the functions of job automatic scheduling and load balancing. We use open source job management system to develop cluster management system in order to solve the problem that the cluster is difficult to use or manage. As an open source queue management and job scheduling system, PBS has been widely used in cluster management. Through developinga number of Shell scripts, the different types ofjobs are transformedinto the corresponding PBSjob scripts. Based on the actual situation of work mode in the enterprise cluster and the premise of less changing scientific research personnel work habit, by using the PBS system to make the necessary custom development work, the Paradigm company EPOS system cluster queue management and job distribution management are implemented.

Key words: computer cluster, PBS (portable batch system), exploration and processing, queue management, job scheduling

中图分类号:

TP316

邹杰，许涛，林茂，李铁，雷宏声. 基于PBS的勘探数据处理作业管理[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2014.02.028.

ZOU Jie, XU Tao, LIN Mao, LI Tie, LEI Hong-sheng.

PBS-based Job Management for Exploration Data Processing

[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2014.02.028.

参考文献 15

[1]	兰文富,罗江华,程克非. 集群系统的资源调度管理实现[J]. 科技创新导报, 2011(24):43-44.
[2]	李媛,张建林,张锐,等. 集群作业管理系统SGE及其应用[J]. 计算机工程与设计, 2009,30(12):2911-2914.
[3]	何春山. 并行计算机群的节能调控[J]. 计算机应用, 2011,31(6):1716-1718.
[4]	段新华,王宏勇,丁汨. 集群作业管理系统的关键技术分析及比较[J]. 计算机技术与发展, 2009,19(2):87-90.
[5]	杨洋,李菁菁,王庆官. PBS作业调度研究[J]. 苏州大学学报:自然科学版, 2009,25(1):42-46.
[6]	张洋,陈文波,李廉,等. 高性能集群作业管理系统TORQUE分析与应用实现[J]. 计算机工程与科学, 2007,29(10):132-134,141.
[7]	袁立强,徐炜民,张丽晓. PBS中的任务调度以及一类资源分配失效的解决[J]. 计算机工程, 2004,30(15):89-91.
[8]	尚尔凡,何川,都志辉. 基于PBS的机群任务调度管理中间件的设计与实现[J]. 小型微型计算机系统, 2004,25(6):1048-1051.
[9]	童端,董小社,李纪云,等. 基于OpenPBS的机群作业管理系统的设计与实现[J]. 计算机工程与应用, 2004,40(13):123-125.
[10]	李源,郑全录,曾韵. PBS作业管理系统分析[J]. 现代计算机:专业版, 2004(3):17-19,23.
[11]	张丽晓,袁立强,徐炜民. 基于任务类型的集群调度策略[J]. 计算机工程, 2004,30(13):63-64,115.
[12]	李全枝,梁正友. 集群资源管理系统PBS及其应用[J]. 微机发展, 2005,15(4):4-7.
[13]	郭绍忠,黄永忠,余丽琼. 机群作业管理系统Condor综述[J]. 信息工程大学学报, 2004,5(1):73-76.
[14]	张小林,钟亦平. 基于集群系统的资源管理系统的性能分析与比较[J]. 计算机应用研究, 2003,20(9):56-59.
[15]	叶庆华,孟丹,江滢. 曙光3000机群作业管理系统JOSS的设计与实现[J]. 计算机工程, 2003,29(6):42-44.

基于PBS的勘探数据处理作业管理

PBS-based Job Management for Exploration Data Processing

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献 15

相关文章 1

编辑推荐

Metrics

本文评价