分布式ETL负载均衡策略研究

doi:10.3969/j.issn.1006-2475.2011.09.054

计算机与现代化 ›› 2011, Vol. 193 ›› Issue (9): 201-204.doi: 10.3969/j.issn.1006-2475.2011.09.054

分布式ETL负载均衡策略研究

张亮¹，夏秀峰²

1.沈阳药科大学高职学院,辽宁沈阳 110026; 2.沈阳航空航天大学计算机学院,辽宁沈阳 110136

收稿日期:2011-05-03 修回日期:1900-01-01 出版日期:2011-09-22 发布日期:2011-09-22

Research on Strategy of Load Balancing in Distributed ETL

ZHANG Liang ¹, XIA Xiu-feng²

1.Vocational and Technical School of Shenyang Pharmaceutical University, Shenyang 110026, China;2.School of Computer Science and Engineering, Shenyang Aerospace University, Shenyang 110136, China

Received:2011-05-03 Revised:1900-01-01 Online:2011-09-22 Published:2011-09-22

摘要/Abstract

摘要： 在分析分布式ETL中负载均衡重要性的基础上，针对传统ETL应用于分布式数据仓库中效率低的缺陷，提出一种根据ETL节点所抽取的数据类型不同对分布式ETL节点抽取的数据进行分割的策略，以及一种新的负载均衡模型—链网模型和Routers相结合的RCN模型。在此基础上提出一种基于ETL数据分片和RCN模型相结合的分布式ETL节点负载调度和均衡策略。此策略使ETL节点的数据处理能力有了很大的提高，有效地提高了分布式ETL的效率。

关键词: 分布式数据仓库, ETL, 数据分割, 负载均衡

Abstract: After analyzing the importance of load balancing in distributed ETL, aiming at the limitation of traditional ETL used in distributed data warehouse, a new strategy that the data extracted from ETL node are divided according to the type of data is proposed, and then presents a new model of load balancing R-CN model that is combined by chain network model and Routers. On the basis of that presents a new load balancing strategy based on the data segment strategy and R-CN model. The strategy improves the ability of data processing greatly, and it also effectively increases the efficiency of distributed ETL.

Key words: distributed data warehouse, ETL, data partitioning, load balancing

中图分类号:

TP311

张亮;夏秀峰. 分布式ETL负载均衡策略研究[J]. 计算机与现代化, 2011, 193(9): 201-204.

ZHANG Liang;XIA Xiu-feng. Research on Strategy of Load Balancing in Distributed ETL[J]. Computer and Modernization, 2011, 193(9): 201-204.

[1]	王重阳, 庄毅. 基于SDN和改进CSA算法的多作业集群的负载均衡算法[J]. 计算机与现代化, 2023, 0(11): 28-35.
[2]	韩雪. 基于约束聚类和粒子群算法的多路径规划[J]. 计算机与现代化, 2023, 0(08): 7-11.
[3]	袁嘉立, 刘梦赤. 面向信息网模型的动态数据划分算法[J]. 计算机与现代化, 2022, 0(10): 100-105.
[4]	倪雅婷, 杨文晖, 苗放, 黄安琪, 蒋媛. 基于Nginx的DRC集群动态负载均衡策略[J]. 计算机与现代化, 2022, 0(04): 58-64.
[5]	段鹏飞, 兰茹. 基于区块链的网络级移动目标防御系统设计[J]. 计算机与现代化, 2021, 0(08): 121-126.
[6]	李娟. 基于物联网技术的异构集群动态负载均衡算法[J]. 计算机与现代化, 2021, 0(04): 104-108.
[7]	彦逸,周开东,林细君,麦晓辉,肖建毅,曾朝霖. 基于因果规则的电力营销系统故障定位算法[J]. 计算机与现代化, 2020, 0(03): 13-.
[8]	文婷婷,李洪赭. 面向云服务平台的弹性负载均衡算法[J]. 计算机与现代化, 2019, 0(10): 28-.
[9]	屠雪真. 一种优化的内核态文件发送方法[J]. 计算机与现代化, 2019, 0(05): 13-.
[10]	李航，臧洌，甘露. 负载均衡技术在并行化符号执行中的应用[J]. 计算机与现代化, 2018, 0(07): 86-.
[11]	刘涌,李海潮,梁立明,白云高. 多线程技术在航天测控网数据流分割中的应用[J]. 计算机与现代化, 2017, 0(7): 27-31.
[12]	李永刚1，岳文涛1，李龙江2. 一种TD-LTE与eHRPD系统重叠覆盖下的负载均衡算法[J]. 计算机与现代化, 2017, 0(5): 5-9.
[13]	栾志坤1，牛超2. 云数据中心中负载均衡的虚拟机调度方法[J]. 计算机与现代化, 2017, 0(5): 24-36.
[14]	张楠,柴小丽,谢彬,唐鹏. Storm流处理平台中负载均衡机制的实现[J]. 计算机与现代化, 2017, 0(12): 65-70+76.
[15]	冉迅，袁建华，刘玉国，胡杨. 基于负载均衡的移动发票管理系统研究[J]. 计算机与现代化, 2016, 0(10): 121-.

分布式ETL负载均衡策略研究

Research on Strategy of Load Balancing in Distributed ETL

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价