一种非结构化的数据统一存储平台

doi:10.3969/j.issn.1006-2475.2016.11.012

计算机与现代化 ›› 2016, Vol. 0 ›› Issue (11): 69-73,103.doi: 10.3969/j.issn.1006-2475.2016.11.012

一种非结构化的数据统一存储平台

1.福建亿榕信息技术有限公司,福建福州350003;2.国网浙江省电力公司,浙江杭州310027

收稿日期:2016-03-30 出版日期:2016-11-15 发布日期:2016-11-23
作者简介:苏江文(1970-),男,广西南宁人,福建亿榕信息技术有限公司高级工程师,本科,研究方向:电力信息系统建设,大数据存储,大数据分析; 孔晓昀(1969-),女,浙江宁波人,国网浙江省电力公司高级工程师，硕士,研究方向:非结构化大数据分析技术与应用; 宋立华(1982-),男,福建福州人,工程师,硕士,研究方向:电力信息系统建设,大数据存储,大数据分析; 张垚(1980-),男,福建宁德人,工程师,研究方向:非结构化数据存储技术。

A Unified Storage Platform for Unstructured Data

1. Fujian Yirong Information Technology Co. Ltd., Fuzhou 350003, China;
2. State Grid Zhejiang Electric Power Company, Hangzhou 310027, China

Received:2016-03-30 Online:2016-11-15 Published:2016-11-23

摘要/Abstract

摘要： 研究并实现电力业务非结构化数据统一存储平台。详细描述非结构化数据存储平台的主要实现技术和方案。搭建满足测试需要的评测环境，测试结果表明存储平台架构方案的有效性和可行性。该平台满足了上层各业务系统在非结构化数据领域的使用需求，可全面服务电力公司提出的“三集五大”战略，为后续非结构化平台支持分布式存储及架构适应性优化全面改造提供依据。


关键词: 非结构化数据, 存储平台, 元数据管理, 数据迁移

Abstract: This paper researched an electric power business unstructured data unified storage platform. The main implementation technologies and solutions of unstructured data storage platform were expatiated, and the evaluation environment meeting the needs of the testing were build. The test results show the feasibility and effectiveness of the storage platform architecture solutions. This platform can meet the upper various business systems needs used in the field of unstructured data, and full serve the “Big-Centralized” mode proposed by the service power company. The technical solution can support distributed storage and optimize the comprehensive transformation of architecture adaptability for subsequent unstructured platform.


中图分类号:

TM74

苏江文1，孔晓昀2，宋立华1，张垚1. 一种非结构化的数据统一存储平台[J]. 计算机与现代化, 2016, 0(11): 69-73,103.

SU Jiang-wen1， KONG Xiao-yun2， SONG Li-hua1, ZHANG Yao1. A Unified Storage Platform for Unstructured Data[J]. Computer and Modernization, 2016, 0(11): 69-73,103.

参考文献

［1］赵俊华,文福拴,薛禹胜,等. 云计算:构建未来电力系统的核心计算平台［J］. 电力系统自动化, 2010,34(15):1-8.
［2］杨旭昕,刘俊勇,季宏亮,等. 电力系统云计算初探［J］. 四川电力技术, 2010,33(3):71-76.
［3］刘鹏. 基于分布式的电力云存储系统的研究与应用［D］. 保定:华北电力大学, 2013.
［4］张逸,杨洪耕,叶茂清. 基于分布式文件系统的海量电能质量监测数据管理方案［J］. 电力系统自动化, 2014,38(2):102-108.
［5］〖JP3〗李晓明,潘艳蓉,张莲梅. 异构电力信息系统综合查询的设计与实现［J］. 电力系统自动化, 2004,28(3):81-85.
［6］丁杰,奚后玮,韩海韵. 面向智能电网的数据密集型云存储策略［J］. 电力系统自动化, 2012,36(12):66-70.
［7］王培. 智能电网监测数据的云存储研究［D］. 保定:华北电力大学, 2012.
［8］李成华,张新访,金海,等. MapReduce:新型的分布式并行计算编程模型［J］. 计算机工程与科学, 2011,33(3):129-135.
［9］郑伟,周喜超,王维洲,等. 一种高性能的多级异构电能质量数据库同步方法［J］. 电力科学与工程, 2010,26(10):21-24.
［10］范孝良,杨化动,张文建,等. 基于B/S模式的供电MIS综合查询系统的设计［J］. 华北电力大学学报(自然科学版), 2001,28(4):72-74.
［11］陈锦铭,袁晓冬. 电能质量在线监测平台的设计与开发［J］. 电力信息与通信技术, 2011,9(3):60-64.
［12］Madden S R, Franklin M J, Hellerstein J M, et al. An acquistional query processing system for sensor networks［J］. ACM Transactions on Database Systems, 2005,30(1):122-173.
［13］李俊,李勇. 联邦式异构数据库应用系统的集成框架和实现技术的研究［J］. 计算机应用研究, 2001,18(4):19-22.
［14］王宁,王能斌. 异构数据源集成系统查询分解和优化的实现［J］. 软件学报, 2000,11(2):222-228.
［15］马惠芳. 非结构化数据采集和检索技术的研究与应用［D］. 上海:东华大学, 2013.
［16］赵小利,文本颖. 基于Web的电力异构系统信息综合查询的设计与实现［J］. 继电器, 2004,32(10):52-58.
［17］王德文,宋亚奇,朱永利. 基于云计算的智能电网信息平台［J］. 电力系统自动化, 2010,34(22):7-12.
［18］沐连顺,崔立忠,安宁. 电力系统云计算中心的研究与实践［J］. 电网技术, 2011,35(6):171-175.

[1]	张瑞杰1，张文生1，李战怀2. 基于文件队列的分级存储系统FQ-HSM的设计与实现[J]. 计算机与现代化, 2017, 0(2): 67-72+97.
[2]	冯钧,王纯,朱康康,魏童童. 基于Hadoop的访问热点副本迁移技术[J]. 计算机与现代化, 2016, 0(1): 108-113.
[3]	吴秀君. 面向电子政务的MongoDB与MySQL混合存储策略[J]. 计算机与现代化, 2014, 0(8): 62-66.
[4]	刘晴和，杨云，贺兴亚，徐文春，周媛媛. 基于业务分割的并行式大数据迁移策略研究[J]. 计算机与现代化, 2014, 0(11): 86-89.
[5]	范炜玮. 基于SOA的体检数据迁移系统的设计与实现[J]. 计算机与现代化, 2011, 1(11): 150-4.
[6]	郑仕勇王亚伟曹忠锋王新星. 数据迁移技术在社保业务中的应用研究[J]. 计算机与现代化, 2010, 1(4): 0-183.
[7]	沈志超. 软件产品平滑升级的设计实现[J]. 计算机与现代化, 2009, 8(8): 157-160.

一种非结构化的数据统一存储平台

A Unified Storage Platform for Unstructured Data

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 7

编辑推荐

Metrics

本文评价