基于ElasticSearch的元数据搜索与共享平台

计算机与现代化

基于ElasticSearch的元数据搜索与共享平台

河海大学计算机与信息学院，江苏南京211100

收稿日期:2014-10-09 出版日期:2015-02-28 发布日期:2015-03-06
作者简介:姜康(1990)，男，江苏宿迁人，河海大学计算机与信息学院硕士研究生，研究方向：信息检索，水利信息化；冯钧(1969)，女，教授，博士，研究方向：时空间数据管理，智能数据处理与数据挖掘，水利信息化；唐志贤(1983)，男，博士研究生，研究方向：时空数据管理；王超(1990)，男，硕士研究生，研究方向：信息检索。
基金资助:
国家自然科学基金资助项目(61370091,61170200)；江苏省科技支撑计划（工业）项目（BE2012179）；江苏省普通高校研究生实践创新计划项目（SJZZ_0060）；江苏省普通高校研究生科

研创新计划项目（CXZZ12_0229）

A Water Conservancy Metadata Searching and Sharing Platform Based on ElasticSearch

College of Computer and Information, Hohai University, Nanjing 211100, China

Received:2014-10-09 Online:2015-02-28 Published:2015-03-06

摘要/Abstract

摘要：

随着水利行业信息化的发展，针对海量、多源、异构数据的共享与发现成为行业研究的热点。本文设计与实现一种基于ElasticSearch的水利元数据搜索与共享平台，提出针对水利异构数据的解决

方案并对海量数据建立索引，利用多租户访问控制策略，保证用户索引数据的一致性与安全性。通过Rest服务对索引资源进行封装，提供搜索与多粒度的共享方式。应用表明，平台能够保证用户准确高

效地获得水利行业数据，节约了水利单位构建搜索系统的成本。

关键词: 元数据检索, 多租户访问控制, 分布式, RESTful服务, 异构数据

Abstract:

With the development of water conservancy industry informatization, the massive, multisource and heterogeneous data sharing and discovery become a hot research area.

This paper presents the design and implementation of a metadata search platform based on ElasticSearch, puts forward a solution of water conservancy heterogeneous data and

builds the index on massive data. The multitenant access control policy is used to ensure the consistency and security of user data. The Rest service encapsulate index to

provide searching and multigranularity sharing. Application shows that the platform can ensure users accurately and efficiently to obtain the water conservancy industry data,

save the water conservancy construction cost of unit search system.

Key words: metadata search, multitenant access control model, distributed, RESTful service, heterogeneous data

中图分类号:

TP311

姜康，冯钧，唐志贤，王超. 基于ElasticSearch的元数据搜索与共享平台[J]. 计算机与现代化.

JIANG Kang， FENG Jun， TANG Zhixian， WANG Chao. A Water Conservancy Metadata Searching and Sharing Platform Based on ElasticSearch[J]. Computer and Modernization.

［1］
水利部水利信息化工作领导小组办公室. 2012年度中国水利信息化发展报告［M］. 北京:中国水利水电出版社, 2013.
［2］冯钧,唐志贤,黄如春,等. 水利信息资源元数据管理方法研究［J］. 水利信息化, 2011(5):14.
［3］王国复,孙超,何小明,等. 气象目录服务系统的设计与实现［J］. 地球信息科学学报, 2009,11(1):2429.
［4］胡明明,唐宇,李军,等. 一种基于目录服务的分布式空间元数据检索方法［J］. 计算机工程与科学, 2011,33(8):162166.
［5］Rafal Kuc. Elasticsearch Server［M］. Packt Publishing Limited, 2013:280.
［6］Bezemer C P, Zaidman A. Multitenant SaaS applications: Maintenance dream or nightmare［C］// Proceedings of the Joint ERCIM Workshop on Software Evolution(EVOL) and

International Workshop on Principles of Software Evolution(IWPSE). ACM, 2010:8892.
［7］王占宏,王战英,顾国强,等. 分布式弹性搜索研究与实践［J］. 微型电脑应用, 2014,30(7):912.
［8］Jara A J, Lopez P, Fernandez D, et al. Mobile digcovery: Discovering and interacting with the world through the Internet of things［J］. Personal and Ubiquitous Computing,

2014,18(2):323338.
［9］Singh A, GonzálezVélez H. Hierarchical multilog cloudbased search engine［C］// Eighth International Conference on Complex, Intelligent and Software Intensive

Systems. 2014:211219.
［10］Kononenko O, Baysal O, Holmes R, et al. DASHboards: Enhancing developer situational awareness［C］// Proceedings of the 36th International Conference on Software

Engineering. 2014:552555.

［11］张宇,蒋东兴,刘启新. 基于元数据的异构数据集整合方案［J］. 清华大学学报(自然科学版), 2009,49(7):10371040.
［12］李保栋,孔兰菊,陆春生,等. SaaS交付平台多租户数据管理模型研究［J］. 小型微型计算机系统, 2012,33(12):26582663.
［13］徐栋,顾春华. SaaS数据层的多租户设计模式研究［J］. 计算机应用与软件, 2013,30(5):216219.
［14］孙杨. 基于REST风格构建Web服务的研究与应用［D］. 成都:电子科技大学, 2009.
［15］毛峰,刘婷,刘仁义,等. 基于REST面向资源的地理信息服务设计［J］. 计算机工程, 2011,37(8):238240.
［16］Jinshuo L, Nanhai Y, Yuan L.A simple implementation of distributed vertical search and information integration technology［J］. Wuhan University Journal of Natural

Sciences, 2013(6):511516.
［17］王小威,赵一鸣. 一种基于任务角色的云计算访问控制模型［J］. 计算机工程, 2012,38(24):913.



[1]	陈超, 顾青峰. 面向混合负载的分布式气象数据管理系统设计[J]. 计算机与现代化, 2023, 0(12): 118-122.
[2]	管金平, 杨晋吉, 杨成龙. 基于概率模型的Raft协议形式化验证[J]. 计算机与现代化, 2023, 0(09): 77-81.
[3]	刘显茁, 邓韦斯, 谢恩彦. 考虑分布式发电并网的配电网自适应保护系统[J]. 计算机与现代化, 2023, 0(09): 120-126.
[4]	王哲, 王玉玫, 吴亚非, 臧义华. 基于RDMA的分布式键值存储系统性能优化[J]. 计算机与现代化, 2023, 0(02): 24-27.
[5]	张昊, 路红英. 面向边缘计算应用的拜占庭式容错分布式一致性算法[J]. 计算机与现代化, 2022, 0(12): 33-41.
[6]	邱金水, 庄会富, 金涛. 面向海量植物图像的智能检索系统设计[J]. 计算机与现代化, 2022, 0(10): 62-67.
[7]	袁嘉立, 刘梦赤. 面向信息网模型的动态数据划分算法[J]. 计算机与现代化, 2022, 0(10): 100-105.
[8]	雷鸣, 姜罕盛, 武国良, 赵玉娟, 梁健. 基于HBase的大数据架构下负载平衡技术[J]. 计算机与现代化, 2021, 0(06): 91-95.
[9]	王文蔚, 肖军弼, 程鹏, 张悦. 基于SDN的DDoS攻击防御系统[J]. 计算机与现代化, 2021, 0(02): 117-121.
[10]	雷鸣, 赵玉娟, 姜罕盛, 武国良, 梁健. 基于分布式技术的气象系统数据服务平台构建[J]. 计算机与现代化, 2020, 0(11): 56-59.
[11]	刘张榕. 基于大数据的半分布式僵尸网络动态抑制算法[J]. 计算机与现代化, 2020, 0(08): 109-113.
[12]	杨牧川, 吕晓丹, 蒋朝惠, . 云计算环境下的可修分布式系统可靠性分析方法[J]. 计算机与现代化, 2020, 0(06): 28-.
[13]	王骞，闫夏莉，叶崛宇，张海阔，李真辉 . 面向权威DNS的数据一致性保障机制[J]. 计算机与现代化, 2020, 0(02): 36-.
[14]	卫津逸，徐珞，戴文博. 基于脆弱点分析的故障注入技术[J]. 计算机与现代化, 2019, 0(12): 39-.
[15]	屠雪真1，杨海潮2. 基于Kubernetes的水平弹性扩缩容系统[J]. 计算机与现代化, 2019, 0(07): 25-.