基于Hadoop的电力运维审计系统的设计

doi:10.3969/j.issn.1006-2475.2020.01.009

计算机与现代化

基于Hadoop的电力运维审计系统的设计

（华北电力大学控制与计算机工程学院，北京102206）

收稿日期:2019-06-11 出版日期:2020-02-13 发布日期:2020-02-13
作者简介:苏林萍（1967-），女，北京人，副教授，硕士，研究方向：信息安全，计算机应用，大数据，E-mail: slp@ncepu.edu.cn；安然（1995-），男，河北承德人，硕士研究生，研究方向：信息安全，E-mail: anran19950501@163.com；李为（1967-），女，教授，硕士，研究方向：智能电网软件技术，电力信息安全；崔文超（1983-），男，讲师，博士，研究方向：信息安全，电力信息化；张晓良（1987-），男，研究员，博士，研究方向：工控网络安全。
基金资助:
国家电网公司科技项目（521304190004）

Design of Power Operation and Maintenance Audit System Based on Hadoop

（School of Control and Computer Engineering, North China Electric Power University， Beijing 102206, China）

Received:2019-06-11 Online:2020-02-13 Published:2020-02-13

摘要/Abstract

摘要： 国家电网公司信息化程度越来越高，单机运维审计系统产生的数据量日益增多，对海量数据高效率存储分析性能严重下降，系统稳定性降低。为满足国家电网当前对运维审计系统数据存储分析以及系统稳定性的需求，在Hadoop开源架构的基础上，本文提出基于Hadoop集群的海量数据分布式存储方法和基于Heartbeat的心跳检测技术，实现基于Hadoop的电力运维审计系统。〖JP2〗实验测试结果表明，基于Hadoop的电力运维审计系统相比单机系统可用性提高了8.42%，大大提升了存储分析海量数据的性能，具有系统工作稳定和服务不间断等优势。

关键词: 运维审计, Hadoop, 数据存储, 集群, Heartbeat

Abstract: State Grid is becoming more and more informative. The amount of data generated by single-machine operation and maintenance audit system is increasing. The performance of high-efficiency storage analysis for massive data is seriously degraded, and system stability is reduced. In order to meet the requirement of State Grid for data storage analysis and system stability of the operation and maintenance audit system, based on the Hadoop open source architecture, the paper proposes a massive data distributed storage method based on Hadoop cluster and heartbeat detection technology based on Heartbeat, and designs a power operation and maintenance audit system based on Hadoop. The experimental results show that the availability of power operation and maintenance audit system is increased by 8.42% compared to stand-machine system. The performance of massive data for storage analysis is greatly improved. It has the advantages of stable system operation and uninterrupted service.

Key words: operation and maintenance audit, Hadoop, data storage, cluster, Heartbeat

中图分类号:

TP311.13

苏林萍，安然，李为，崔文超，张晓良. 基于Hadoop的电力运维审计系统的设计[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2020.01.009.

SU Lin-ping, AN Ran, LI Wei, CUI Wen-chao, ZHANG Xiao-liang. Design of Power Operation and Maintenance Audit System Based on Hadoop[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2020.01.009.

参考文献

［1］ DAHDOUH K, DAKKAK A, OUGHDIR L, et al. Large-scale e-learning recommender system based on Spark and Hadoop［J/OL］. Journal of Big Data,2019(6).（2019-01-08）［2019-03-22］. https://doi.org/10.1186/s40537-019-0164-4.
［2］ BAKLI M, SAKR M, SOLIMAN T H A. Hadoop Trajectory: A Hadoop spatiotemporal data processing extension［J］. Journal of Geographical Systems, 2019,21(2):211-235.
［3］马刚. 朴素贝叶斯算法的改进与应用［D］. 合肥：安徽大学, 2018.
［4］滕志昊. 异构环境下Hadoop集群负载均衡策略的研究与实现［D］. 北京：北京邮电大学, 2018.
［5］樊程. 基于SOA的服务动态扩展机制研究与实现［D］. 青岛：青岛大学, 2013.
［6］王猛. 基于异构Hadoop集群的MapReduce任务调度算法研究［D］. 西安：西北大学, 2018.
［7］刘芳云,张志勇,李玉祥. 基于Hadoop的分布式并行增量爬虫技术研究［J］. 计算机测量与控制, 2018,26(10):269-275.
［8］肖佳,王古城,杨旭,等. Heartbeat心跳检测与负载均衡的设计与实现［J］.电子设计工程, 2015,23(18):176-179.
［9］李勇. 基于Linux的Heartbeat心跳检测系统研究与设计［J］. 计算机与数字工程, 2016,44(11):2293-2297.
［10］段海军,叶宏,张鹏. 面向IMA网络文件系统的双服务器结构设计［J］. 航空计算技术, 2012,42(1):92-95.
［11］张立航,陈大勇,刘海峰,等. 基于Linux的Heartbeat心跳检测系统设计［J］. 计算机安全, 2011(10):45-47.
［12］范绚春,游志胜,冯子亮,等. 一种FDP Heartbeat心跳检测方案［J］. 四川大学学报(自然科学版), 2004(6):1172-1174.
［13］李丽. 服务器集群技术探析［J］. 数字技术与应用, 2013(10):224.
［14］刘清华,杨桂芹. 基于Heartbeat+MySQL的Heartbeat心跳检测实现与改进［J］. 自动化与仪器仪表, 2015(1):159-160.
［15］徐超群. 高可用集群系统关键技术的研究与实现［D］. 南京：南京航空航天大学, 2014.
［16］梁烜彰. 基于大数据平台的用户搜索日志分析和研究［D］. 广州：华南理工大学, 2018.
［17］胡治宇,利莉. 基于Hadoop的高校网络舆情关键技术研究［J］. 计算机产品与流通, 2019(6):247-248.
［18］胡非,刘为,王丹妮,等. 运维安全审计在电网企业中的建设及应用［J］. 计算机产品与流通, 2018(12):267.
［19］姜婷. 基于应用虚拟化的运维审计系统的设计与实现［D］. 北京：华北电力大学(北京), 2018.
［20］杨健兵. 改进的K-means聚类算法在公交IC卡数据分析中的应用研究［J］. 软件工程, 2019,22(5):32-34.
［21］ANSARI Z, AFZAL A, SARDAR T H. Data categorization using Hadoop MapReduce-based parallel K-means clustering［J］. Journal of The Institution of Engineers (India): Series B, 2019,100(2):95-103.
［22］李士果,卢建云. Hadoop 3.0大数据平台性能［J］. 电子技术与软件工程, 2019(5):158-160.
［23］于波,李庆建,王卫. 实时通信集群负载均衡策略研究与应用［J］. 计算机系统应用, 2019,28(5):167-172.
［24］汪瑜斌. 基于Linux构建Hadoop高性能服务器集群［J］. 通信电源技术, 2018,35(9):151-152.
［25］曾德超,李晋,范兴丰. 基于Hadoop架构的企业知识服务平台设计与实现［J］. 自动化应用, 2019(1):151-153.

[1]	杨博, 庄毅. 基于AOA-MSVM的控制集群故障检测方法[J]. 计算机与现代化, 2023, 0(12): 112-116.
[2]	王重阳, 庄毅. 基于SDN和改进CSA算法的多作业集群的负载均衡算法[J]. 计算机与现代化, 2023, 0(11): 28-35.
[3]	张军, 苏文浩 . 基于LZO的Hadoop文件归档优化方法[J]. 计算机与现代化, 2023, 0(06): 1-6.
[4]	单珂, 张一鸣, 刘瑞霞, . 面向中原城市群的科技服务资源池研究与设计[J]. 计算机与现代化, 2022, 0(07): 91-96.
[5]	倪雅婷, 杨文晖, 苗放, 黄安琪, 蒋媛. 基于Nginx的DRC集群动态负载均衡策略[J]. 计算机与现代化, 2022, 0(04): 58-64.
[6]	李娟. 基于物联网技术的异构集群动态负载均衡算法[J]. 计算机与现代化, 2021, 0(04): 104-108.
[7]	晋文明, 颜硕彦, 钱巨, . 大规模负载生成客户端影响因素研究[J]. 计算机与现代化, 2020, 0(08): 76-81.
[8]	杨双浩1，2 . 利用网格计算加速基因大数据分析的方法实现[J]. 计算机与现代化, 2019, 0(08): 85-.
[9]	屠雪真1，杨海潮2. 基于Kubernetes的水平弹性扩缩容系统[J]. 计算机与现代化, 2019, 0(07): 25-.
[10]	杨炳钊，李泽平，刘江涛 . 基于HLS流媒体集群动态反馈负载均衡算法[J]. 计算机与现代化, 2019, 0(03): 51-.
[11]	莫城为，范冰冰. DOP：一种数据开放框架及其应用[J]. 计算机与现代化, 2018, 0(07): 6-.
[12]	周天绮. 基于移动通信大数据的城市人口空间分布统计[J]. 计算机与现代化, 2018, 0(05): 45-.
[13]	赵博颖，肖鹏，张力. 基于Docker的MPI和OpenMP混合编程[J]. 计算机与现代化, 2018, 0(05): 60-.
[14]	温贺平1,鲍晶晶2,柯居鑫1,刘树威1. 基于Hadoop的Lorenz超混沌加密算法设计[J]. 计算机与现代化, 2018, 0(03): 108-.
[15]	朱珊，艾丽华. 基于Hadoop的大规模图像存储与检索[J]. 计算机与现代化, 2017, 0(6): 61-66+83.

基于Hadoop的电力运维审计系统的设计

Design of Power Operation and Maintenance Audit System Based on Hadoop

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价