基于Hadoop的水利元数据语义搜索方法

doi:10.3969/j.issn.1006-2475.2015.12.001

计算机与现代化 ›› 2015, Vol. 0 ›› Issue (12): 1-.doi: 10.3969/j.issn.1006-2475.2015.12.001

• 算法设计与分析 • 下一篇

基于Hadoop的水利元数据语义搜索方法

河海大学计算机与信息学院,江苏南京211100

收稿日期:2015-08-11 出版日期:2015-12-23 发布日期:2015-12-30
作者简介:冯钧（1969-），女，江苏常州人，河海大学计算机与信息学院教授，博士，CCF会员，研究方向：时空数据管理，智能数据处理与数据挖掘，水利信息化；李宗祥(1989-)，男，硕士研究生，研究方向：信息检索；唐志贤(1983-)，男，博士研究生，研究方向：时空数据管理；姜康(1990)，男，硕士研究生，研究方向：信息检索。
基金资助:
国家自然科学基金资助项目(61370091，61170200)

Semantic Retrieval Method for Water Conservancy Metadata Based on Hadoop

College of Computer and Information, Hohai University, Nanjing 211100, China

Received:2015-08-11 Online:2015-12-23 Published:2015-12-30

摘要/Abstract

摘要： 为了解决水利领域中元数据搜索引擎缺乏语义理解，并且在集中式环境下索引水利元数据效率低下的问题,本文提出一种基于Hadoop的水利元数据语义搜索方法。首先结合本体与查询扩展技术的语义搜索方法，设计水利领域的本体推理规则、语义相似度计算方法、扩展词选择方法和语义相关度排序方法，从而有效地提高搜索结果的查全率与查准率；其次，针对XML形式的水利元数据建立索引的效率低下问题，引入Hadoop平台中的MapReduce并行处理模型，并行化处理解析提取元数据信息与索引建立工作，并修改SequenceFile的文件结构，以应对水利元数据的小文件问题，解决集中式环境下对水利元数据建立索引的性能瓶颈；最后利用Hadoop强大的并行计算能力，设计分布式环境下的语义扩展查询方法，从而提高水利元数据的查询效率。

关键词: 关键词：领域本体, 相似性计算, 语义搜索, Hadoop, SequenceFile

Abstract: In order to provide a solution for the absence of semantic comprehension of metadata search engine in water conservancy domain together with the problem of low efficiency when indexing water conservancy metadata, a semantic retrieval method for water conservancy metadata based on Hadoop is brought forward in this paper. First, the semantic searching method with the combination of ontology and query expansion technology is used to design ontology reasoning rules, semantic similarity calculation method, expansion words selecting method and semantic relevance ordering method so as to effectively improve the recall ratio and precision ratio of search results. Second, as for the problem of low efficiency when building an index of water conservancy metadata in XML form, MapReduce parallel processing model in Hadoop platform is introduced to make parallel processing, analysis and extraction of metadata information and index building, and to modify the file structure of SequenceFile in response to the small files of water conservancy metadata and performance bottleneck of water conservancy metadata index building under centralized environment. Finally, semantic extension query method is designed by using of the powerful parallel computing capability of Hadoop so as to improve the query efficiency of water conservancy metadata.

Key words: Key words: domain ontology, calculation of similarity, semantic query, Hadoop, SequenceFile

中图分类号:

TP391

冯钧，李宗祥，唐志贤，姜康. 基于Hadoop的水利元数据语义搜索方法[J]. 计算机与现代化, 2015, 0(12): 1-.

FENG Jun， LI Zongxiang， TANG Zhixian， JIANG Kang. Semantic Retrieval Method for Water Conservancy Metadata Based on Hadoop[J]. Computer and Modernization, 2015, 0(12): 1-.

参考文献

［1］
水利部水利信息化工作领导小组办公室. 2012年度中国水利信息化发展报告［M］. 北京:中国水利水电出版社, 2013.
［2］冯钧,唐志贤,朱跃龙,等. 水利信息资源目录服务元数据定义研究［J］. 水利信息化, 2011(S1):19-22.
［3］Guha R, McCool R, Miller E. Semantic search［C］// Proceedings of the 12th International Conference on World Wide Web. ACM, 2003: 700-709.
［4］Yu Xuejun, Lv Jing. Keywords semantic extension in semantic search model［C］// International Conference on Computer, Networks and Communication Engineering (ICCNCE 2013). Atlantis Press, 2013.
［5］Armentano M G, Godoy D, Campo M, et al. NLPbased faceted search: Experience in the development of a science and technology search engine［J］. Expert Systems with Applications, 2014,41(6):2886-2896.
［6］Tran T, Cimiano P, Rudolph S, et al. Ontologybased interpretation of keywords for semantic search［M］// The Semantic Web. Springer Berlin Heidelberg, 2007:523-536.
［7］Qiu Yonggang, Frei H P. Concept based query expansion［C］// Proceedings of the 16th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 1993:160-169.
［8］Attar R, Fraenkel A S. Local feedback in fulltext retrieval systems［J］. Journal of the ACM (JACM), 1977,24(3):397-417.
［9］Mena E, Illarramendi A, Kashyap V, et al. OBSERVER: An approach for query processing in global information systems based on interoperation across preexisting ontologies［J］. Distributed and Parallel Databases, 2000,8(2):223-271.
［10］Khatchadourian S, Consens M P, Siméon J. Having a ChuQL at XML on the Cloud［C］// A. Mendelzon International Workshop(AMW). 2011.
［11］Shah B, Rao P R, Moon B, et al. A data parallel algorithm for XML DOM parsing［M］// Database and XML Technologies. Springer Berlin Heidelberg, 2009:75-90.
［12］魏永山,张峰,陈欣,等. 一种云计算环境下的XML查询数据服务的优化方法［J］. 计算机工程与科学, 2013,35(6):30-36.
［13］Rada R, Mili H, Bichnell E, et al. Development and application of a metricon semantic nets［J］. IEEE Transactions on Systems, Man and Cybernetics, 1989,9(1):17-30.
［14］Wu Zhibiao, Palmer M. Verb semantics and lexical selection［C］// Proceedings of the 32nd Annual Meeting of the Association for Computational Linguistics. 1994:133-138.
［15］韩欣,樊永生,马春森,等. 基于树状结构的语义相似度计算方法分析［J］. 微电子学与计算机, 2012,29(5):38-41.
［16］Choi I, Kim M. Topic distillation using hierarchy concept tree［C］// Proceedings of the 26th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. 2003:371-372.
［17］曹叡,吴玲达. 一种改进的领域本体语义相似度计算方法［J］. 微电子学与计算机, 2014,31(8):109-114.

[1]	张军, 苏文浩 . 基于LZO的Hadoop文件归档优化方法[J]. 计算机与现代化, 2023, 0(06): 1-6.
[2]	苏林萍，安然，李为，崔文超，张晓良. 基于Hadoop的电力运维审计系统的设计[J]. 计算机与现代化, 2020, 0(01): 49-.
[3]	周天绮. 基于移动通信大数据的城市人口空间分布统计[J]. 计算机与现代化, 2018, 0(05): 45-.
[4]	温贺平1,鲍晶晶2,柯居鑫1,刘树威1. 基于Hadoop的Lorenz超混沌加密算法设计[J]. 计算机与现代化, 2018, 0(03): 108-.
[5]	朱珊，艾丽华. 基于Hadoop的大规模图像存储与检索[J]. 计算机与现代化, 2017, 0(6): 61-66+83.
[6]	李程，柴小丽，谢彬，唐鹏. 一种Hadoop YARN的资源调度机制[J]. 计算机与现代化, 2017, 0(11): 29-34.
[7]	张进，冯钧，陆佳民. 基于Hadoop的空间关键字索引方法[J]. 计算机与现代化, 2017, 0(11): 76-83.
[8]	冯钧，徐维纲，冯读庆，陆佳民，徐欢. 面向海量水利数据的索引方法研究[J]. 计算机与现代化, 2017, 0(10): 29-35,41.
[9]	李娜，陈正鸣，吕嘉，刘春芳. HDFS访问中间件的事务设计与实现[J]. 计算机与现代化, 2017, 0(1): 46-50.
[10]	孙立华1，胡牧1，孟庆强1，钱亚康1，王松2. 配网线损大数据高性能计算解决方案[J]. 计算机与现代化, 2016, 0(12): 42-46,50.
[11]	徐欢1,冯钧1,张鹏程1,唐志贤2,刘艺1,陈志飞1,张立霞1. 基于Hadoop的分布式CIF四叉树索引方法[J]. 计算机与现代化, 2016, 0(11): 12-19,24.
[12]	祁鹏年,朱晋,郝君慧,许丰平. 异构环境下Hadoop推测执行算法[J]. 计算机与现代化, 2015, 0(8): 80-83,88.
[13]	胡龙,罗军. 基于MapReduce的混合连接算法[J]. 计算机与现代化, 2015, 0(6): 86-91.
[14]	王宾,刘钊远. 基于Rsync的远程文件同步优化模型[J]. 计算机与现代化, 2015, 0(4): 10-13.
[15]	张松，杜庆伟1，孙静2，孙振2. 基于预测的云计算热点数据副本因子决策算法[J]. 计算机与现代化, 2015, 0(2): 62-.

基于Hadoop的水利元数据语义搜索方法

Semantic Retrieval Method for Water Conservancy Metadata Based on Hadoop

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价