一种基于WebService的多系统水利日志存储方法

doi:10.3969/j.issn.1006-2475.2016.02.026

计算机与现代化

一种基于WebService的多系统水利日志存储方法

河海大学计算机与信息学院，江苏南京210098

收稿日期:2015-07-13 出版日期:2016-03-02 发布日期:2016-03-03
作者简介: 冯钧（1969-），女，江苏常州人，河海大学计算机与信息学院教授，博士，研究方向：时空间数据管理，智能数据处理与数据挖掘，水利信息化；张立霞（1990-），女，硕士研究生，研究方向：时空数据管理，水利信息化；唐志贤（1983-），男，博士研究生，研究方向：时空数据管理。

A Log Storage Method of Multiple Water Conservancy Systems Based on WebService

Computers & Information College, Hohai University, Nanjing 210098, China

Received:2015-07-13 Online:2016-03-02 Published:2016-03-03

摘要/Abstract

摘要：

由于缺乏恰当的水利日志存储方法和集中的水利日志存储平台，水利领域不同水利系统之间日志存储分散，难以在集中环境下进行数据挖掘。为了对多个水利系统的日志进行高效存储和集

中管理，提出一种基于WebService的多系统日志存储方法，同时基于该方法设计并实现一个水利日志存储平台。平台采用HBase存储多系统水利日志，充分利用HBase支持海量异构数据存储的特性；利用

WebService一对多的发布和调用模式以及远程互操作性，将日志存储转移到服务器端完成，减轻水利系统端的存储压力；最后测试多系统的并发执行能力，并与log4j方式进行对比。

关键词: , 水利系统, 日志存储方法, 并行存储, HBase, WebService

Abstract:

Because of the lack of hydraulic log storage method and centralized storage system, multiple hydraulic systems’ logs are stored distributed, which is hard to

mine data from the logs. In order to store the massive hydraulic logs efficiently and to manage the hydraulic logs intensively, we propose a new log storage method, which is

based on WebService and on the strength of this method, we design and complish a hydraulic log storage system. HBase is used as a database in the system, which makes full use of

its mass heterogeneous data storage features; WebService is adopted because of its one-to-many service pattern in calling and its remote interoperability. WebService transforms

log storage work from hydraulic systems to server, which reduces the pressure of the hydraulic systems. Finally, we make a verfication of the system’s concurrent execution and

compare WebService with log4j about log storage efficiency.

Key words: hydraulic system, log storage method, concurrent storage, HBase, WebService

冯钧，张立霞，唐志贤. 一种基于WebService的多系统水利日志存储方法[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2016.02.026.

FENG Jun, ZHANG Li-xia, TANG Zhi-xian. A Log Storage Method of Multiple Water Conservancy Systems Based on WebService[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2016.02.026.

［1］阳小珊,朱立谷,罗洪元,等. IP网络存储的日志系统研究［J］. 计算机研究与发展, 2011,48(S1):365-370.
［2］岑荣伟,刘奕群,张敏,等. 基于日志挖掘的搜索引擎用户行为分析［J］. 中文信息学报, 2010,24(3):49-54.
［3］冯禹洪,吴晓峰,白鉴聪,等. 面向云计算的粒度自配置日志采集平台［J］. 集成技术, 2014,3(3):22-32.
［4］杨蕾. 基于SSH2+Log4j的钢厂材料管理糸统的设计［D］. 上海:复旦大学, 2013.
［5］何海刚. 基于Key-Value的海量日志存储系统设计［D］. 上海:复旦大学, 2013.
［6］卢科,金培权,岳丽华. 一种针对块内日志存储模型的缓冲区管理方法［J］. 小型微型计算机系统, 2013,34(5):1021-1027.
［7］王兆永. 面向大规模批量日志数据存储方法的研究［D］. 西安:电子科技大学, 2011.
［8］侯浩沨,刘钊远. 云存储日志结构文件系统中段回收机制的研究［J］. 计算机与数字工程, 2014,42(7):1210-1213,1247.

［9］ Chang F, Dean J, Ghemawat S, et al. Bigtable: A distributed storage system for structured data［C］// Proceedings of the 7th Symposium on Operating Systems

Design and Implementation. 2006:205-218. 
［10］Dean J, Ghemawat S. MapReduce: Simplified data processing on large clusters［C］// Proceedings of the 6th Conference on Symposium on Opearting Systems Design &

Implementation. 2004.137-149.
［11］马友忠,孟小峰. 云数据管理索引技术研究［J］. 软件学报, 2015,26(1):145-164.
［12］Ghemawat S, Gobioff H, Leung S T. The Google file system［C］// Proceedings of the 19th ACM Symposium on Operating Systems Principles. 2003:29-43.
［13］Vinitha D E G, Duela J S.A secured event log storage management system in cloud computing［C］// 2014 International Conference on Information Communication and Embedded

Systems(ICICES). 2014:1-5.
［14］胡伟. 企业日志集中管理系统的研究与设计［D］. 北京:北京邮电大学, 2013.
［15］韩冰. 政府网站分布式日志存储与分析系统研究［D］. 曲阜:曲阜师范大学, 2014.
［16］ 马强,刘晓洁,梁刚. 入侵防御系统日志采集和存储的改进方法［J］. 计算机工程与设计, 2010,31(17):3763-3765. 
［17］ 陈耀兵,刘斌,史延涛. 基于Hadoop架构的大数据量日志存储和检索优化［J］. 信息网络安全, 2013(6):40-45. 
［18］常大亮,张晓煜,彭慧,等. Web Service在MES数据传输中的应用［J］. 微计算机信息, 2011,27(1):139-141.
［19］尹兆冰,王加阳. Web Service及其关键技术研究综述［J］. 软件导刊, 2010,9(2):121-123.
［20］邓水光,黄龙涛,尹建伟,等. Web服务组合技术框架及其研究进展［J］. 计算机集成制造系统, 2011,17(2):404-410.

[1]	李静元, 张珂, 杨东裕. 基于雾计算的工业互联网安全数据访问方法[J]. 计算机与现代化, 2022, 0(12): 118-122.
[2]	陈春燕, 刘梦赤. 基于粒子群遗传算法的智能组卷策略[J]. 计算机与现代化, 2021, 0(08): 16-23.
[3]	雷鸣, 姜罕盛, 武国良, 赵玉娟, 梁健. 基于HBase的大数据架构下负载平衡技术[J]. 计算机与现代化, 2021, 0(06): 91-95.
[4]	宋鑫, 樊志强, . 基于Laguerre 前向神经网络的信息服务性能建模方法 [J]. 计算机与现代化, 2021, 0(03): 1-6.
[5]	魏健, 赵红涛, 刘敦楠, 加鹤萍 . 基于集成模型的超短时负荷预测方法[J]. 计算机与现代化, 2021, 0(03): 12-17.
[6]	段桂芹1，邹臣嵩2，刘锋2. 基于优化初始聚类中心的K中心点算法[J]. 计算机与现代化, 2019, 0(04): 1-.
[7]	李富星，蒙祖强 . 一种改进的类别区分词特征选择算法[J]. 计算机与现代化, 2019, 0(03): 73-.
[8]	白晓波1，邵景峰1，和征1，田建刚2. 基于学习的核偏最小二乘法优化扩展卡尔曼滤波[J]. 计算机与现代化, 2018, 0(09): 110-.
[9]	郑亚鹏，樊璐. 基于LSTM的临床血液需求预测方法[J]. 计算机与现代化, 2018, 0(05): 41-.
[10]	刘德春1，张秀国2，姜微2. 基于马尔科夫链的大学生自主学习能力预测方法[J]. 计算机与现代化, 2018, 0(05): 106-.
[11]	夏琨1，丁波1，刘俊1，刘子豪1，林亮成2. 基于内容分析的网络协议指纹识别[J]. 计算机与现代化, 2018, 0(05): 121-.
[12]	李华，江峰，于旭，杜军威，刘国柱. 基于粒度决策熵的属性约简[J]. 计算机与现代化, 2018, 0(04): 7-.
[13]	陈丽娟，谢伙生. 带负项值的onshelf效用项集并行挖掘算法[J]. 计算机与现代化, 2018, 0(04): 13-.
[14]	吴克介,王家伟. 基于知网与搜索引擎的词汇语义相似度计算[J]. 计算机与现代化, 2018, 0(04): 90-.
[15]	王建荣，季刚. 海量自动气象站分钟数据存储检索系统设计[J]. 计算机与现代化, 2017, 0(9): 40-44.

一种基于WebService的多系统水利日志存储方法

A Log Storage Method of Multiple Water Conservancy Systems Based on WebService

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价