计算机与现代化 ›› 2024, Vol. 0 ›› Issue (07): 76-81.doi: 10.3969/j.issn.1006-2475.2024.07.011
摘要: 目前,气象大数据云平台仅服务于气象内网用户,为进一步拓展平台的对外服务能力,满足气象行业用户对海量气象数据存储与共享应用需求,基于分布式存储和数据服务接口等方面关键技术,在单向网络安全隔离区(Demilitarized Zone, DMZ)设计一套安全、高效的气象大数据存储和服务体系。针对结构化气象数据,研究设计一种优化的基于数据库Binlog的数据同步方法;针对非结构化气象数据,研究设计一种优化的基于数据库Binlog+ETL机制相结合的数据同步方法,实现气象内网大数据云平台和DMZ区数据环境间的海量气象数据实时秒级同步。本文方法解决了气象数据对行业用户服务数据量少、共享服务能力差、安全性低等问题。应用实践表明,该数据同步技术延时在秒级以内且数据一致性良好,确保了气象大数据云平台对外服务的实时性和准确性。
中图分类号: