面向混合负载的分布式气象数据管理系统设计

doi:10.3969/j.issn.1006-2475.2023.12.020

摘要/Abstract

摘要： 摘要：气象数据具有数据规模大、数据类型多样化等特点，对访问性能的要求也非常高，因此需要采用分布式数据管理系统进行管理。但是气象不是单纯的OLTP或单纯的OLAP应用，而是二者兼顾，同时具有大量的数据更新和高并发的数据查询需求，属于新型的HTAP应用。目前分布式数据管理系统在不断演变，但是对HTAP的支持并不好。因此，针对气象数据，特别是其中规模很大、使用最频繁的气象模式数据，设计和实现一套新的面向混合负载的分布式气象数据管理系统，通过格点、属性存储模式的并存和异构来高效满足不同类型复杂的需求，从而获得更高的整体性能。本系统可以在近似地写入性能前提下，将高并发查询的性能提升3.13倍。

关键词: 关键词：分布式系统, 数据管理, HTAP, 气象, 模式数据

Abstract: Abstract: Meteorological data has the characteristics of large data scale and diverse data types. It has high requirements for access performance， so a high-performance distributed data management system is highly required. However， the meteorology is not a pure OLTP or a pure OLAP application， but a combination of the two， i.e.， HTAP with both a large number of data updating and highly concurrent data queries. Although distributed data management systems are rapidly evolving nowadays， their current support for HTAP is not very good. Therefore， in this paper， we design and implement a new hybrid workload-oriented distributed meteorological data management system for meteorological data， especially for the large-scale and most frequently used meteorological model data. The heterogeneity of different types of storage models， i.e.， grid-based and priority-based storage models， in this system can satisfy all the requirements of different types of complex queries efficiently for higher overall performance. This system can promote the concurrent query performance by 3.13 times under similar writing performance.

Key words: Key words: distributed system, data management, HTAP, meteorology, model data

中图分类号:

TP31

陈超, 顾青峰. 面向混合负载的分布式气象数据管理系统设计[J]. 计算机与现代化, 2023, 0(12): 118-122.

CHEN Chao, GU Qing-feng. Design of Hybrid Workload-oriented Distributed Meteorological Data Management System[J]. Computer and Modernization, 2023, 0(12): 118-122.

参考文献

［1］陈景丽，陈鹏，鲍婷婷. 云计算环境下气象大数据服务应用分析［J］. 中国科技信息， 2019（11）:88.
［2］沈文海，周勇，唐伟，等. 浅论气象数据发展规划［J］. 中国信息化， 2020（9）:100-102.
［3］王怀乐，阮宇智. 大数据流式计算方法在气象领域的应用设想［J］. 信息系统工程， 2019（9）:91-94.
［4］沈文海. 再析气象大数据及其应用［J］. 中国信息化， 2016（1）:84-96.
［5］刘盼，高嵩，王若曈，等. 支撑气象大数据实时预报业务应用的MICAPS4系统概述［J］. 气象科技进展， 2018，8（1）:109-116.
［6］孟小峰，慈祥. 大数据管理:概念、技术与挑战［J］. 计算机研究与发展， 2013，50（1）:146-169.
［7］李学龙，龚海刚. 大数据系统综述［J］. 中国科学:信息科学， 2015，45（1）:1-44.
［8］ APPUSWAMY R， KARPATHIOTAKIS M， POROBIC D， et al. The case for heterogeneous HTAP［C］// Proceedings of the 8th Biennial Conference on Innovative Data Systems Research. 2017.
［9］ SIRIN U， DWARKADAS S， AILAMAKI A. Performance characterization of HTAP workloads［C］// Proceedings of the 2021 IEEE 37th International Conference on Data Engineering （ICDE）. 2021:1829-1834.
［10］ HARIZOPOULOS S， ABADI D J， MADDEN S， et al. OLTP through the looking glass， and what we found there［M］// Making Databases Work: The Pragmatic Wisdom of Michael Stonebraker. 2018:409-439.
［11］ PAVLO A， CURINO C， ZDONIK S. Skew-aware automatic database partitioning in shared-nothing， parallel OLTP systems［C］// Proceedings of the 2012 ACM SIGMOD International Conference on Management of Data. 2012:61-72.
［12］ CHAUDHURI S， DAYAL U. An overview of data warehousing and OLAP technology［J］. ACM SIGMOD Record， 1997，26（1）:65-74.
［13］ CUZZOCREA A， BELLATRECHE L， SONG I Y. Data warehousing and OLAP over big data: Current challenges and future research directions［C］// Proceedings of the 16th International Workshop on Data Warehousing and OLAP. 2013:67-70.
［14］ LAHIRI T， CHAVAN S， COLGAN M， et al. Oracle database in-memory: A dual format in-memory database［C］// Proceedings of the 2015 IEEE 31st International Conference on Data Engineering. 2015:1253-1258.
［15］ MySQL HeatWave. Real-time analytics for MySQL database service［Z］. MySQL HeatWave， 2021.
［16］ LYU Z H， ZHANG H H， XIONG G， et al. Greenplum: A hybrid database for transactional and analytical workloads［C］// Proceedings of the 2021 International Conference on Management of Data. 2021:2530-2542.
［17］ CHANG F， DEAN J， GHEMAWAT S， et al. Bigtable: A distributed storage system for structured data［J］. ACM Transactions on Computer Systems （TOCS）， 2008，26（2）. DOI: 10.1145/1365815.1365816.
［18］ DECANDIA G， HASTORUN D， JAMPANI M， et al. Dynamo: Amazon’s highly available key-value store［J］. ACM SIGOPS Operating Systems Review， 2007，41（6）:205-220.
［19］ CORBETT J C， DEAN J， EPSTEIN M， et al. Spanner: Google’s globally distributed database［J］. ACM Transactions on Computer Systems （TOCS）， 2013，31（3）. DOI: 10.1145/2491245.
［20］ TAFT R， SHARIF I， MATEI A， et al. CockroachDB: The resilient geo-distributed SQL database［C］// Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data. 2020:1493-1509.
［21］ HUANG D X， LIU Q， CUI Q， et al. TiDB: A Raft-based HTAP database［J］. Proceedings of the VLDB Endowment， 2020，13（12）:3072-3084.
［22］ DONG S Y， KRYCZKA A， JIN Y Q， et al. RocksDB: Evolution of development priorities in a key-value store serving large-scale applications［J］. ACM Transactions on Storage （TOS）， 2021， 17（4）. DOI: 10.1145/3483840.
［23］ LAMPORT L. Paxos made simple［J］. ACM SIGACT News， 2001，32（4）:51-58.
［24］ MORARU I， ANDERSEN D G， KAMINSKY M. There is more consensus in Egalitarian parliaments［C］// Proceedings of the 24th ACM Symposium on Operating Systems Principles. 2013:358-372.
［25］ ONGARO D， OUSTERHOUT J. In search of an understandable consensus algorithm［C］// Proceedings of the 2014 USENIX Annual Technical Conference （Usenix ATC 14）. 2014:305-319.
［26］ JUNQUEIRA F P， REED B C， SERAFINI M. Zab: High-performance broadcast for primary-backup systems［C］// Proceedings of the 2011 IEEE/IFIP 41st International Conference on Dependable Systems & Networks （DSN）. 2011:245-256.
［27］ BOUTROS B S， DESAI B C. A two-phase commit protocol and its performance［C］// Proceedings of the 7th International Conference and Workshop on Database and Expert Systems Applications: DEXA 96. 1996:100-105.
［28］景苌弘，刘文洁，高锦涛，等. 面向分布式数据库的HTAP研究与实现［J］. 西北工业大学学报， 2021，39（2）:430-438.
［29］王若曈，黄向东，张博，等. 海量气象数据实时解析与存储系统的设计与实现［J］. 计算机工程与科学， 2015，37（11）:2045-2054.
［30］阿里云. 基于云上分布式NoSQL的海量气象数据存储和查询方案［DB/OL］. （2017-11-21）［2022-08-20］. https://developer.aliyun.com/article/259057.
［31］ MATSUNOBU Y， DONG S Y， LEE H. MyRocks: LSM-tree database storage engine serving Facebook’s social graph［J］. Proceedings of the VLDB Endowment， 2020，13（12）:3217-3230.

[1]	刘洋1, 黄志2, 徐娟1, 高鹏1, 陈旭辉1. 基于分布式的省级气象数据中心硬件监控告警系统[J]. 计算机与现代化, 2024, 0(07): 41-46.
[2]	邱玲1, 2, 宋智1, 2, 吕爽1, 2, 杨雪1, 2. 数据同步技术在气象大数据云平台对外服务中的应用[J]. 计算机与现代化, 2024, 0(07): 76-81.
[3]	冯冼1, 2, 方昆1, 屈右铭1, 刘晓波1, 施佳驰1, 文立恒1. 气象服务中台关键技术研究与应用[J]. 计算机与现代化, 2024, 0(05): 69-74.
[4]	田光辉, 沈小芸, 吴俞. 海南气象灾害预警信号有效性评价系统设计与实现[J]. 计算机与现代化, 2023, 0(05): 75-79.
[5]	赵春燕, 孙婧, 胡江凯, 周斌. 气象高性能计算环境中模式协同研发管理[J]. 计算机与现代化, 2022, 0(06): 49-55.
[6]	杨秋良, 王钰, 杨杏丽, 李济洪. 基于互信息F统计量特征选择技术的地基气象云图分类[J]. 计算机与现代化, 2021, 0(02): 18-23.
[7]	陈浩, 张亚, 罗希昌, 张亚力, 刘文静. 基于MongoDB的气象数据存储检索系统#br#[J]. 计算机与现代化, 2020, 0(08): 100-104.
[8]	徐建鹏, 张辉, 伍琼, 王晖, 汪兵. 安徽气象为农服务大数据平台设计与应用[J]. 计算机与现代化, 2020, 0(08): 105-108.
[9]	李涛1,刘寰1,李亚玲2,向筱铭1 . 省级气象资料传输监控平台的设计及实现[J]. 计算机与现代化, 2019, 0(08): 117-.
[10]	张淑静1,苗开超1,张亚力1,杨彬1,李腾2,刘宜轩1,汪翔1. 基于Bi-LSTM-CRF算法的气象预警信息质控系统的实现[J]. 计算机与现代化, 2019, 0(06): 111-.
[11]	琚书存1,2，程文杰1,2，徐建鹏1,2，周鹿扬1,2，朱雅莉1,2，王杰1,2，伍琼1,2. 农业气象物联网数据采集系统[J]. 计算机与现代化, 2018, 0(09): 105-.
[12]	杨立苑，胡佳军，李显风，周雪莹，邹海燕. 基于BP神经网络的气象云资源调度系统[J]. 计算机与现代化, 2018, 0(07): 68-.
[13]	张春，袁天宁. 针对动车组全生命周期集成管理的多源异构数据融合框架设计[J]. 计算机与现代化, 2017, 0(10): 36-41.
[14]	苏江文1，孔晓昀2，宋立华1，张垚1. 一种非结构化的数据统一存储平台[J]. 计算机与现代化, 2016, 0(11): 69-73,103.
[15]	姜建华，张广云. 一种基于Android的气象服务系统[J]. 计算机与现代化, 2015, 0(10): 69-72.