基于HBase的大数据架构下负载平衡技术

计算机与现代化 ›› 2021, Vol. 0 ›› Issue (06): 91-95.

基于HBase的大数据架构下负载平衡技术

(天津市气象局信息中心，天津 300074)

出版日期:2021-07-05 发布日期:2021-07-05
作者简介:雷鸣（1976—），男，山东莱州人，高级工程师，博士，研究方向：大数据应用，图像匹配，E-mail: lmeagle01@163.com；姜罕盛（1986—），男，天津人，工程师，硕士，研究方向：大数据应用，E-mail: sembiyjhs@163.com。
基金资助:
国家自然科学基金资助项目(41575156)；天津市气象局科研项目（201914ybxm12）

Load Balancing Technology Under Big Data Architecture Based on HBase

(Tianjin Meteorological Information Center, Tianjin 300074, China)

Online:2021-07-05 Published:2021-07-05

摘要/Abstract

摘要： 随着气象数据规模和种类的不断增长，气象数据已经逐渐进入海量服务阶段，而基于大数据背景提供更敏捷的数据服务已经成为业务发展的迫切需求。本文针对气象中的半/非结构化数据，提出基于HBase系统的负载平衡算法和策略。在实际测试对比中发现，系统可以满足200多万个格点，100个并发的场景，查询速度在2 s以内，与未曾增加负载平衡算法相比，系统数据响应速度提升了42.69倍，能够有效地满足实际业务需要。

关键词: 负载平衡, HBase, 分布式存储, 大数据, HDFS

Abstract: With the continuous growth of the scale and type of meteorological data, meteorological data has gradually entered the stage of massive service, and meanwhile providing more agile data services based on the background of big data has become an urgent demand for business development. In this paper, a load balancing algorithm and strategy based on HBase system is proposed for semi/unstructured meteorological data. In the actual test and comparison, it is found that the system can meet more than 2 million grid points and 100 concurrent scenarios, and the query speed is within 2 s. Compared with the load balancing algorithm which is not added load balance, the system data response speed is improved by 42.69 times, which can effectively meet the actual business needs.

Key words: load balance, HBase, distributed storage, big data, HDFS

雷鸣, 姜罕盛, 武国良, 赵玉娟, 梁健. 基于HBase的大数据架构下负载平衡技术[J]. 计算机与现代化, 2021, 0(06): 91-95.

LEI Ming, JIANG Han-sheng, WU Guo-liang, ZHAO Yu-juan, LIANG Jian. Load Balancing Technology Under Big Data Architecture Based on HBase[J]. Computer and Modernization, 2021, 0(06): 91-95.

参考文献

［1］邓维,刘方明,金海,等. 云计算数据中心的新能源应用：研究现状与趋势［J］. 计算机学报, 2013,36(3):582-598.
［2］潘飞,蒋从锋,徐向华,等. 负载相关的虚拟机放置策略［J］. 小型微型计算机系统, 2013,34(3):520-524.
［3］魏彦红. BI-PaaS平台中BI应用的调度方案的研宄与实现［D］. 北京:北京邮电大学, 2014.
［4］ BANAEE H, LOUTFI A. Data-driven rule mining and representation of temporal patterns in physiological sensor data［J］. IEEE Journal of Biomedical & Health Informatics, 2015,19(5):1557-1566.
［5］陈作聪. 基于灰色模型的海洋大数据迁移算法设计［J］. 广东工业大学学报, 2018,35(3):95-99.
［6］张栗粽,崔园,罗光春,等. 面向大数据分布式存储的动态负载均衡算法［J］. 计算机科学, 2017,44(5):178-183.
［7］张丽梅. 基于负载均衡的云资源调度策略研究［D］. 银川:宁夏大学, 2014.
［8］张令涛,赵林,张亮,等. 配用电大数据分布式计算集群负载均衡框架［J］. 电网技术, 2019,43(1):259-265.
［9］章勇,张洁卉,柳斌. 全局负载均衡下云环境中的大数据动态迁移方法［J］. 计算机科学, 2018,45(1):196-199.
［10］张晋芳,王清心,丁家满. 一种云计算环境下大数据动态迁移策略［J］. 计算机工程, 2016,42(5):13-17.
［11］冯兴杰,贺阳. 改进的Hadoop作业调度算法［J］. 计算机工程与应用, 2017,53(12):85-91.
［12］孙兰芳,张曦煌. 基于蜜蜂采蜜机理的云计算负载均衡策略［J］. 计算机应用研究, 2016,33(4):1179-1182.
［13］GHADAH A, TAHIR B S, NADINE A, et al. Distributed dynamic load balancing in a heterogeneous network using LTE and TV white spaces［J］. Wireless Networks, 2015,21(7):2413-2424.
［14］李梓杨,于炯,卞琛,等. 基于负载感知的数据流动态负载均衡策略［J］. 计算机应用, 2017,37(10):2760-2766.
［15］鲁亮,于炯,卞琛,等. Storm环境下基于权重的任务调度算法［J］. 计算机应用, 2018,38(3):699-706.
［16］孙大为,张广艳,郑纬,等. 大数据流式计算:关键技术及系统实例［J］. 软件学报, 2014,25(4):839-862.
［17］张译天,于炯,鲁亮,等. 大数据流式计算框架Heron环境下的流分类任务调度策略［J］. 计算机应用, 2019,39(4):1106-1116.
［18］张笑东,夏筱筠,吕海峰,等. 大数据网络并行计算环境中生理数据流动态负载均衡［J］. 吉林大学学报（工学版）, 2020,50(1):247-254.
［19］蒋本立,张小平. 大数据网络的均衡调度平台设计与改进［J］. 现代电子技术, 2016,39(6):62-65.
［20］冯兴杰,贺阳. 改进的Hadoop作业调度算法［J］. 计算机工程与应用, 2017,53(12):85-91.
［21］伍湘君,陈德辉,宋君强,等. GRAPES全球格点模式的并行计算负载平衡策略［J］. 气象学报, 2010,68(5):591-597.
［22］金之雁,王鼎兴. 一种在异构系统中实现负载平衡的方法［J］. 应用气象学报, 2003,14(4):410-418.
［23］王亮,毛科峰,陈希. Gerris数值方案及其在海洋数值模拟中的应用［J］. 南京信息工程大学学报(自然科学版), 2015,7(1):92-96.

[1]	李俊晓1, 张小琳1, 石静2. 基于区块链增强的车辆边缘计算网络安全数据存储和共享[J]. 计算机与现代化, 2024, 0(07): 69-75.
[2]	邱玲1, 2, 宋智1, 2, 吕爽1, 2, 杨雪1, 2. 数据同步技术在气象大数据云平台对外服务中的应用[J]. 计算机与现代化, 2024, 0(07): 76-81.
[3]	余春雷1, 2, 刘笃晋1, 朱华伟1, 杨佳蓉3. 基于Petersen图的部分重复码[J]. 计算机与现代化, 2024, 0(03): 122-126.
[4]	张军, 苏文浩 . 基于LZO的Hadoop文件归档优化方法[J]. 计算机与现代化, 2023, 0(06): 1-6.
[5]	周明升, 张雯. 一种面向多源数据的智慧园区管理平台[J]. 计算机与现代化, 2023, 0(05): 68-74.
[6]	邱金水, 庄会富, 金涛. 面向海量植物图像的智能检索系统设计[J]. 计算机与现代化, 2022, 0(10): 62-67.
[7]	单珂, 张一鸣, 刘瑞霞, . 面向中原城市群的科技服务资源池研究与设计[J]. 计算机与现代化, 2022, 0(07): 91-96.
[8]	黄安琪, 苗放, 杨文晖, 倪雅婷, 蒋媛. 基于数据架构的结构化数据注册引擎设计[J]. 计算机与现代化, 2022, 0(05): 82-89.
[9]	曹禹, 李晓辉, 刘忠麟, 贾贺, 费志伟. 云环境大数据工作流编排管理系统研究综述[J]. 计算机与现代化, 2022, 0(01): 41-53.
[10]	张小芳, 冯慧芳. 基于轨迹大数据的动态最优路径规划[J]. 计算机与现代化, 2021, 0(11): 82-88.
[11]	李明, 陈积富, 易小荣, 刘书铭. 基于JFinal框架的洞庭湖环境监测系统[J]. 计算机与现代化, 2021, 0(10): 41-48.
[12]	魏云东. 基于大数据技术的人才智能推荐方法[J]. 计算机与现代化, 2021, 0(07): 60-64.
[13]	刘锋, 邹臣嵩, 崔炜. 大数据环境下基于K中心点优化算法的Web服务组合[J]. 计算机与现代化, 2020, 0(12): 20-24.
[14]	潘卫军, 刘皓晨, 王润东, 胡博文. 基于ANN的改进Spark系统在空管大数据处理中的应用[J]. 计算机与现代化, 2020, 0(12): 78-82.
[15]	周贤来. 基于语义分割的异构多核平台大数据挖掘算法[J]. 计算机与现代化, 2020, 0(10): 40-43.