DOP：一种数据开放框架及其应用

doi:10.3969/j.issn.1006-2475.2018.07.002

计算机与现代化

DOP：一种数据开放框架及其应用

(华南师范大学计算机学院，广东广州510631)

收稿日期:2018-01-19 出版日期:2018-08-23 发布日期:2018-08-27
作者简介:莫城为(1990-),男,广东陆丰人,华南师范大学计算机学院硕士研究生,研究方向:数据开放,信息安全;范冰冰(1962-),男,上海人,教授,研究方向:云计算,数据融合。
基金资助:
广东省重大科技专项（2016B030305003）

DOP：ASimpleOpenDataFrameworkandItsApplication

(SchoolofComputer,SouthChinaNormalUniversity,Guangzhou510631,China)

Received:2018-01-19 Online:2018-08-23 Published:2018-08-27

摘要/Abstract

摘要： 数据开放是大数据时代的趋势，而通用工程化的开放数据平台的实施是当前面临的主要问题。本文基于元数据管理和大数据存储，提出数据开放池（Data-Open-Pool，DOP）框架和“目录—数据集—发布”（Catalog-Dataset-Distribution，CDD）数据描述模型，实现数据从采集发布到最终开放的业务逻辑及数据资源在3个层次的描述与管理，最后通过DOP和CDD分层描述模型实现简便的数据开放应用案例，并讨论该框架存在的若干问题。

关键词: 大数据, 数据开放, 元数据, 数据描述, 数据存储

Abstract: Open-dataisthetrendoftheeraofbigdata,thustocarryoutopen-dataplatformthroughgeneralengineeringapproachesisthemainproblem.Referringtotheideasofthemetadatamanagementandthebig-datastorage,thepaperproposestheDOP(Data-Open-Pool)frameworkandCDD(Catalog-Dataset-Distribution)datadescriptionmodel,whichrealizestheservicelogicfrompublishingadatasetaftercollectingdatatoopeningtothepublicfinally,aswellasthedescriptionandmanagementofdataresourcesinthethreelevels,andfinallyimplementsaneasyopen-dataapplicationwiththeDOPandCDDhierarchicaldescriptionmodel,givesthegeneralalgorithmtoreleasethestandarddatasetfromunordereddatasources,aswellasthediscussiononsomeproblemsoftheframework.

Key words: bigdata, open-data, metadata, datadescription, datastorage

中图分类号:

TP311.13

莫城为，范冰冰. DOP：一种数据开放框架及其应用[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2018.07.002.

MOCheng-wei,FANBing-bing. DOP：ASimpleOpenDataFrameworkandItsApplication[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2018.07.002.

参考文献

［1］程学旗,靳小龙,王元卓,等.大数据系统和分析技术综述［J］.软件学报,2014,25(9):1889-1908.
［2］GlobalOpenDataIndex.TrackingtheStateofOpenGovernmentData［EB/OL］.https://index.okfn.org/,2017-06-15.
［3］KohigashiK,TakahashiK,HarumotoK,etal.APeer-to-PeerinformationsharingmethodforRDFtriplesbasedonRDFschema［C］//Proceedingsofthe10thInternationalWork-ConferenceonArtificialNeuralNetworks:PartII:DistributedComputing,ArtificialIntelligence,Bioinformatics,SoftComputing,andAmbientAssistedLiving.2009:646-650.
［4］HylandB,Villazón-TerrazasB,AtemezigG.BestPracticesforPublishingLinkedData［EB/OL］.https://www.w3.org/TR/ld-bp/,2014-01-09.
［5］花开明,陈家训,杨洪山.基于本体与元数据的语义检索［J］.计算机工程,2007,33(24):220-221.
［6］MaaliF,EricksonJ.DataCatalogVocabulary(DCAT)［EB/OL］.https://www.w3.org/TR/vocab-dcat/,2014-01-16
［7］ProjectOpenData.ProjectOpenDataMetadataSchema［EB/OL］.https://project-open-data.cio.gov/v1.1/schema/,2015-02-01.
［8］中国裁判文书网.文书总量［EB/OL］.http://wenshu.court.gov.cn/,2017-05-16.
［9］刘海房,莫世鸿,范冰冰.开放数据最新进展及趋势［J］.情报杂志,2016,35(9):163-167.
［10］周大铭.我国政府数据开放现状和保障机制［J］.大数据,2015,1(2):19-30.
［11］陈明艳.政府开放数据的语义描述与实体同一性研究［D］.广州:华南理工大学,2015.
［12］东方.国内外政府数据开放平台调查与分析［J］.现代情报,2017,37(10):93-98.
［13］赵文硕.关系型与非关系型数据库的应用研究［D］.北京:华北电力大学(北京),2016.
［14］郭远威.大数据存储:MongoDB实战指南［M］.北京:人民邮电出版社,2015.
［15］廖雪龙,谢雨来,荣震,等.对象存储下的溯源收集与存储研究［J/OL］.http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9148.1611041,2017-05-15.
［16］GudivadaVN,RaoD,RaghavanVV.NoSQLsystemsforbigdatamanagement［C］//2014IEEEWorldCongressonServices.2014:190-197.
［17］RFC2413,DublinCoreMetadataforResourceDiscovery［S］.
［18］曹守欣,赵琉涛,金翊.基于对象存储的云存储系统研究［J］.计算机科学与应用,2014,4(12):333-343.
［19］陈曦,朱建涛,何晓斌.一种面向高性能计算的分布式对象存储系统［J］.计算机工程,2017,43(8):69-73.

[1]	周明升, 张雯. 一种面向多源数据的智慧园区管理平台[J]. 计算机与现代化, 2023, 0(05): 68-74.
[2]	邱金水, 庄会富, 金涛. 面向海量植物图像的智能检索系统设计[J]. 计算机与现代化, 2022, 0(10): 62-67.
[3]	单珂, 张一鸣, 刘瑞霞, . 面向中原城市群的科技服务资源池研究与设计[J]. 计算机与现代化, 2022, 0(07): 91-96.
[4]	黄安琪, 苗放, 杨文晖, 倪雅婷, 蒋媛. 基于数据架构的结构化数据注册引擎设计[J]. 计算机与现代化, 2022, 0(05): 82-89.
[5]	曹禹, 李晓辉, 刘忠麟, 贾贺, 费志伟. 云环境大数据工作流编排管理系统研究综述[J]. 计算机与现代化, 2022, 0(01): 41-53.
[6]	张小芳, 冯慧芳. 基于轨迹大数据的动态最优路径规划[J]. 计算机与现代化, 2021, 0(11): 82-88.
[7]	李明, 陈积富, 易小荣, 刘书铭. 基于JFinal框架的洞庭湖环境监测系统[J]. 计算机与现代化, 2021, 0(10): 41-48.
[8]	魏云东. 基于大数据技术的人才智能推荐方法[J]. 计算机与现代化, 2021, 0(07): 60-64.
[9]	雷鸣, 姜罕盛, 武国良, 赵玉娟, 梁健. 基于HBase的大数据架构下负载平衡技术[J]. 计算机与现代化, 2021, 0(06): 91-95.
[10]	刘锋, 邹臣嵩, 崔炜. 大数据环境下基于K中心点优化算法的Web服务组合[J]. 计算机与现代化, 2020, 0(12): 20-24.
[11]	潘卫军, 刘皓晨, 王润东, 胡博文. 基于ANN的改进Spark系统在空管大数据处理中的应用[J]. 计算机与现代化, 2020, 0(12): 78-82.
[12]	周贤来. 基于语义分割的异构多核平台大数据挖掘算法[J]. 计算机与现代化, 2020, 0(10): 40-43.
[13]	吴海伟, 王晓忠, 朱法顺, . 一种基于遗传算法的智能电网调度方法[J]. 计算机与现代化, 2020, 0(09): 122-126.
[14]	徐建鹏, 张辉, 伍琼, 王晖, 汪兵. 安徽气象为农服务大数据平台设计与应用[J]. 计算机与现代化, 2020, 0(08): 105-108.
[15]	刘张榕. 基于大数据的半分布式僵尸网络动态抑制算法[J]. 计算机与现代化, 2020, 0(08): 109-113.

DOP：一种数据开放框架及其应用

DOP：ASimpleOpenDataFrameworkandItsApplication

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价