基于动态镜像的实时数据仓库存取处理技术

doi:10.3969/j.issn.1006-2475.2015.03.023

计算机与现代化 ›› 2015, Vol. 0 ›› Issue (3): 108-112.doi: 10.3969/j.issn.1006-2475.2015.03.023

基于动态镜像的实时数据仓库存取处理技术

1.河海大学计算机与信息学院，江苏南京211100；2.河海大学淮安研究院，江苏淮安223001

收稿日期:2014-11-24 出版日期:2015-03-23 发布日期:2015-03-26
作者简介:毛莺池(1976-),女,上海人,河海大学计算机与信息学院副教授,硕士生导师,博士,CCF会员,研究方向:分布计算与并行处理,分布式数据管理等; 闵伟(1989-),男,江苏淮安人,硕士研究生,研究方向:分布式计算与并行处理,数据管理等。
基金资助:
国家自然科学基金资助项目(61272543); 国家科技支撑计划项目(2013BAB06B04); 江苏省自然科学基金资助项目(BK2012584); 中国华能集团公司总部科技项目(HNKJ13-H17-04)

Real-time Data Warehouse Accessing Technology Based on Dynamic Mirror Replication

1. College of Computer and Information, Hohai University, Nanjing 211100, China;
2. Huai’an Research Institute of Hohai University, Huai’an 223001, China

Received:2014-11-24 Online:2015-03-23 Published:2015-03-26

摘要/Abstract

摘要： 实时数据仓库是数据仓库技术的重要分支，而实时数据查询和实时数据导入引发的查询竞争问题一直是实时数据仓库技术研究的重点之一。查询竞争问题严重影响查询分析的精度和效率，本文提出一种动态镜像技术，该技术在数据仓库外部构建动态存储区域；同时，本文对传统ETL技术进行了改进。基于TPC-H基准的实时数据仓库测试系统对动态镜像技术下的OLAP性能进行了分析与评估。实验结果显示，实时查询效率提高了50%，平均查询精度达到93%。

关键词: 查询竞争, 动态镜像, 实时数据仓库

Abstract: Real-time data warehouse is one of important research fields in data management. Real-time data query and import can bring about the problem of query contention. Query contention will seriously affect the accuracy of query analysis. In this paper, combining an external dynamic storage area, a dynamic mirror replication technology was proposed to effectively solve the query contention problem; meanwhile, we improved the traditional ETL technology. Based on the TPC-H benchmark, the proposed dynamic mirror replication technology was evaluated. The experimental results demonstrate the query efficiency increased by 50%, and the query accuracy reached 93% on average.

Key words: query contention, dynamic mirror replication, real-time data warehouse

中图分类号:

TP311

毛莺池1,2,闵伟1,接青1,朱沥沥1. 基于动态镜像的实时数据仓库存取处理技术[J]. 计算机与现代化, 2015, 0(3): 108-112.

MAO Ying-chi1,2, MIN Wei1, JIE Qing1, ZHU Li-li1. Real-time Data Warehouse Accessing Technology Based on Dynamic Mirror Replication[J]. Computer and Modernization, 2015, 0(3): 108-112.

参考文献

［1]Rifaie M, Kianmehr K, Alhajj R, et al. Data warehouse architecture and design ［C]// IEEE International Conference on Information Reuse and Integration. 2008:58-63.
［2]Michael H. The real time data warehouse: The next stage in data warehouse evolution ［J]. DM Review, 2003,2:654-659.
［3]Kuhn E. The zero-delay data warehouse: Mobilizing heterogeneous databases ［C]// Proceedings of the 29th International Conference on Very Large Data Bases. 2003:1035-1040.
［4]Santos R J, Bernardino J. Real-time data warehouse loading methodology ［C]// Proceedings of the 12th International Database Engineering and Applications Symposium. 2008:49-58.
［5]Conn S S. OLTP and OLAP data integtation: A review of feasible implementation methods and architectures for real time data analysis［C]// Proceedings of the 2005 SoutheastCon. 2005:515-520.
［6]徐俊刚,裴莹. 数据ETL研究综述［J]. 计算机科学, 2011,38(4):15-20.
［7]Vassiliadis P, Vagena Z, Skiadopoulos S, et al. ARKTOS: Towards the modeling, design, control and execution of ETL processes ［J]. Information Systems, 2001,26(8):537-561.
［8]〖JP2〗Vassiliadis P, Smitsis A. Near real-time ETL ［J]. Springer Journal Annals of Information Systems, 2009,3:1-31.
［9]Wikipedia. Change Data Capture ［EB/OL]. http://en.wikipedia.org/wiki/Change_data_capture, 2014-12-15.
［10]Lin Ziyu, Yang Dongqing, Song Guojie. Dealing with query contention issue in real-time data warehouses by dynamic multi-level caches［C]// Proceedings of the 7th IEEE International Conference on Computer and Information Technology. 2007:122-127.
［11]林子雨,杨冬青,宋国杰,等. 实时主动数据仓库中的变化数据捕捉研究综述［J]. 计算机研究与发展, 2007,44(Sup):447-451.
［12]Kimball R. Real-time Partitions ［EB/OL]. http://www.kimballgroup.com/2002/02/realtime-partitions, 2002-02-01.
［13]张延松,焦敏,王占伟,等．海量数据分析的One-size-fits-all OLAP技术［J]. 计算机学报, 2011,34(10):1936-1946.
［14]Cui Yingwei, Widom J, Wiener J L. Tracing the lineage of view data in a warehousing environment［J]. ACM Transactions on Database Systems, 2000,25(2):179-227.
［15]冯健文,林璇. 基于ODS的数据仓库模型研究［J]. 微计算机应用, 2006,27(4):468-470.
［16]Shao Yichuan, Yao Xingjia. Research of real-time data warehouse storage strategy based on multi-level caches［J]. Physics Procedia, 2012,25(4):2315-2321.
［17]〖JP2〗Transaction Processing Council. TPC-H Decision Support Bench Mark［EB/OL]. http://www.tpc.org/tpc_documents_current_versions/pdf/tpch2.17.1.pdf, 2014-11-16

[1]	李德友1, 2, 余劲松弟1, 2, 魏丹丹1, 2, 罗源1, 2, 佟瑞菊3. 面向格网化立方体元数据的抽象树模型[J]. 计算机与现代化, 2024, 0(11): 1-6.
[2]	邱玲1, 2, 宋智1, 2, 吕爽1, 2, 杨雪1, 2. 数据同步技术在气象大数据云平台对外服务中的应用[J]. 计算机与现代化, 2024, 0(07): 76-81.
[3]	杨柯1, 潘大志1, 2, 池莹1. 改进蜉蝣算法求解工艺规划与调度集成问题[J]. 计算机与现代化, 2024, 0(04): 92-98.
[4]	范良俊1, 彭振皖1, 王晨2, 于泓涛2, 梁振1. 基于YAML的iOS应用开发框架[J]. 计算机与现代化, 2024, 0(04): 115-120.
[5]	王子琛, 瞿有利. 基于CRF的分区倒排索引压缩算法[J]. 计算机与现代化, 2024, 0(02): 36-42.
[6]	王晓霞, 孟佳娜, 江烽, 丁梓晴. 基于多视图的知识感知推荐系统#br#[J]. 计算机与现代化, 2024, 0(02): 100-107.
[7]	林威. 基于自监督学习和数据回放的新闻推荐模型增量学习方法[J]. 计算机与现代化, 2023, 0(12): 1-6.
[8]	柴荔, 王萧, 龚嘉豪, 汪洋, 吉顺慧, 张鹏程. 面向供应链的共识算法研究综述[J]. 计算机与现代化, 2023, 0(11): 22-27.
[9]	王重阳, 庄毅. 基于SDN和改进CSA算法的多作业集群的负载均衡算法[J]. 计算机与现代化, 2023, 0(11): 28-35.
[10]	王光辉, 程功旭, 李青. 基于区块链技术的电力物资共享云仓设计[J]. 计算机与现代化, 2023, 0(10): 99-106.
[11]	沈加炜, 陆一鸣, 陈晓艺, 钱美玲, 陆卫忠, . 基于深度学习的人体行为检测方法研究综述[J]. 计算机与现代化, 2023, 0(09): 1-9.
[12]	顾成伟, 丁勇, 李登华. 基于计算机视觉的工业厂区人员安全警戒系统[J]. 计算机与现代化, 2023, 0(09): 20-26.
[13]	刘瑞雪, 李文, 刘芳, 杜守国. 用于具有缺失值的时间序列预测的张量自回归补全算法[J]. 计算机与现代化, 2023, 0(09): 51-58.
[14]	毛明扬, 徐胜超. 面向粒子群优化BP神经网络的粗糙集连续属性离散化算法[J]. 计算机与现代化, 2023, 0(09): 115-119.
[15]	陈嘉敏, 张伯泉, 麦海鹏. 基于特征融合的海马体分割[J]. 计算机与现代化, 2023, 0(08): 1-6.

基于动态镜像的实时数据仓库存取处理技术

Real-time Data Warehouse Accessing Technology Based on Dynamic Mirror Replication

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价