基于Pentaho的数据中心研究及应用

doi:10.3969/j.issn.1006-2475.2015.11.003

计算机与现代化

基于Pentaho的数据中心研究及应用

（1.华北计算技术研究所，北京100083；2.太极计算机股份有限公司，北京100083）

收稿日期:2015-06-09 出版日期:2015-11-12 发布日期:2015-11-16
作者简介:范鑫（1990-），男，山西怀仁人，华北计算技术研究所硕士研究生，研究方向：数据挖掘；何中威（1992-），男，湖北红安人，硕士研究生，研究方向：软件测试；张素伟（1959-），男，北京人，太极计算机股份有限公司研究员，高级工程师，研究方向：组件开发技术，软件构件技术与集成。

Research and Application of Data Warehouse Based on Pentaho

(1. North China Institute of Computing Technology, Beijing 100083, China; 2. Taiji Computer Corporation Limited, Beijing 100083, China)

Received:2015-06-09 Online:2015-11-12 Published:2015-11-16

摘要/Abstract

摘要：

数据中隐藏的价值不仅决定企业自身的命运同时承载整个行业的未来发展方向。在大数据时代背景下，无论是公司的发展还是政府的管理，搭建属于自身的数据仓库都显得尤为重要。本文借助中关村数据融合中心平台，阐述构建基于Pentaho管理系统的关键技术要点，主要包括数据仓库的设计，数据收集过程中的ETL设计，数据分析过程中的OLAP设计，数据展示过程中的报表设计。

关键词: 大数据, 数据仓库, Pentaho平台, 数据加载转换, OLAP

Abstract:

The hidden value of data not only determines the fate of the enterprise itself, but also carries the future direction of the whole industry. Under the background of big data era, whether the development of the company or government management, building a data warehouse to themselves is particularly important. Based on the Zhongguancun data fusion center platform, the paper expounds the key technology points of building the Pentaho management system which mainly includes the design of the data warehouse, ETL design of data collection process, OLAP design of data analysis process and report design in the data display process.

Key words: big data, data warehouse, Pentaho platform, ETL, OLAP

中图分类号:

TP391.1

范鑫1，何中威1，张素伟2. 基于Pentaho的数据中心研究及应用[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2015.11.003.

FAN Xin1， HE Zhong-wei1， ZHANG Su-wei2. Research and Application of Data Warehouse Based on Pentaho[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2015.11.003.

参考文献

［1］曾希强. 基于Pentaho的电话中心商务智能系统设计与实现［D］. 成都:电子科技大学， 2013.
［2］曹大伟. 基于数据仓库的电信客户数据分析系统的设计与实现［D］. 广州:华南理工大学, 2011.
［3］ Roland Bouman, Jos van Dongen. Pentaho Solutions: Business Intelligence and Data Warehousing with Pentaho and MySQL［M］. Indianapol:Wiley Publishing Inc, 2009.
［4］陈荣鑫，付永刚，陈维斌. 基于Pentaho的商业智能系统［J］. 计算机工程与设计， 2008,29（9）：2407-2409.
［5］崔友洋，崔有文. 基于ETL-Kettle的中药饮片企业商业智能研究［J］. 产业与科技论坛， 2014,13（22）:47-50.
［6］李承泽. 基于ETL的银行数据集成处理研究［D］. 大连：大连海事大学， 2013.
［7］张亮. 基于OLAP技术的业务流程多维数据模型分析［D］. 北京:北京交通大学, 2012．
［8］刘延庆. 网络安全OLAP分析中查询优化技术的设计与实现［D］. 长沙：国防科学技术大学， 2009.
［9］张红，陈飞．商务智能研究综述［J］．中国卫生信息管理, 2012,9(3),52-56．
［10］胡孔法,陈岐,李斌，等. 数据仓库系统中高维联机分析处理聚集数据存储技术研究［J］. 计算机集成制造系统, 2006,12(7):1095-1101.
［11］Casters M, Bouman R, van Dongen J. Pentaho Kettle: Building OpenSource ETL Solutions with Pentaho Data Integration［M］. Indianapol: Wiley Publishing,Inc, 2010.
［12］徐春艳. 面向实时数据仓库的ETL研究［D］. 南京：南京航空航天大学， 2007.
［13］卢硕. 数据仓库和数据挖掘在决策支持系统中的应用研究［D］. 西安：西安电子科技大学， 2006.
［14］万铮. 基于数据仓库的OLAP系统的系统设计与实现［D］. 成都：西南交通大学， 2007.
［15］侯筱婷. 基于数据仓库、OLAP和数据挖掘技术的数据分析、展现与预测［D］. 西安：西安电子科技大学， 2007.
［16］王德文，肖凯，肖磊. 基于Hive的电力设备状态信息数据仓库［J］. 电力系统保护与控制， 2013,41（9）:125-130.
［17］喻国明. 大数据分析下的中国社会舆情：总体态势与结构性特征——基于百度热搜词(2009—2012)的舆情模型构建［J］. 中国人民大学学报， 2013，27(5)：2-9.

[1]	周明升, 张雯. 一种面向多源数据的智慧园区管理平台[J]. 计算机与现代化, 2023, 0(05): 68-74.
[2]	邱金水, 庄会富, 金涛. 面向海量植物图像的智能检索系统设计[J]. 计算机与现代化, 2022, 0(10): 62-67.
[3]	单珂, 张一鸣, 刘瑞霞, . 面向中原城市群的科技服务资源池研究与设计[J]. 计算机与现代化, 2022, 0(07): 91-96.
[4]	黄安琪, 苗放, 杨文晖, 倪雅婷, 蒋媛. 基于数据架构的结构化数据注册引擎设计[J]. 计算机与现代化, 2022, 0(05): 82-89.
[5]	曹禹, 李晓辉, 刘忠麟, 贾贺, 费志伟. 云环境大数据工作流编排管理系统研究综述[J]. 计算机与现代化, 2022, 0(01): 41-53.
[6]	张小芳, 冯慧芳. 基于轨迹大数据的动态最优路径规划[J]. 计算机与现代化, 2021, 0(11): 82-88.
[7]	李明, 陈积富, 易小荣, 刘书铭. 基于JFinal框架的洞庭湖环境监测系统[J]. 计算机与现代化, 2021, 0(10): 41-48.
[8]	魏云东. 基于大数据技术的人才智能推荐方法[J]. 计算机与现代化, 2021, 0(07): 60-64.
[9]	雷鸣, 姜罕盛, 武国良, 赵玉娟, 梁健. 基于HBase的大数据架构下负载平衡技术[J]. 计算机与现代化, 2021, 0(06): 91-95.
[10]	刘锋, 邹臣嵩, 崔炜. 大数据环境下基于K中心点优化算法的Web服务组合[J]. 计算机与现代化, 2020, 0(12): 20-24.
[11]	潘卫军, 刘皓晨, 王润东, 胡博文. 基于ANN的改进Spark系统在空管大数据处理中的应用[J]. 计算机与现代化, 2020, 0(12): 78-82.
[12]	周贤来. 基于语义分割的异构多核平台大数据挖掘算法[J]. 计算机与现代化, 2020, 0(10): 40-43.
[13]	吴海伟, 王晓忠, 朱法顺, . 一种基于遗传算法的智能电网调度方法[J]. 计算机与现代化, 2020, 0(09): 122-126.
[14]	徐建鹏, 张辉, 伍琼, 王晖, 汪兵. 安徽气象为农服务大数据平台设计与应用[J]. 计算机与现代化, 2020, 0(08): 105-108.
[15]	刘张榕. 基于大数据的半分布式僵尸网络动态抑制算法[J]. 计算机与现代化, 2020, 0(08): 109-113.

基于Pentaho的数据中心研究及应用

Research and Application of Data Warehouse Based on Pentaho

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价