计算机与现代化

• 数据库与数据挖掘 • 上一篇    下一篇

多源数据库数据复制模型

  

  1. 南京南瑞集团公司,江苏  南京  210003
  • 收稿日期:2016-12-13 出版日期:2017-09-20 发布日期:2017-09-19
  • 作者简介:刘赛(1988-),男,江苏徐州人,南京南瑞集团公司工程师,硕士,研究方向:云数据保护; 聂庆节(1979-),男,重庆人,工程师,硕士,研究方向:云计算。
  • 基金资助:
    国家电网公司经费支持项目

Data Replication Model of Multi-source Database

  1. NARI Group Corporation, Nanjing 210003, China
  • Received:2016-12-13 Online:2017-09-20 Published:2017-09-19

摘要: 针对跨数据库平台、跨操作系统平台、跨硬件平台数据交互需求,提出一种基于日志解析的数据交互复制模型。该模型通过对数据库Redo日志的分析与定位,从中抽取增量变化日志数据,然后采用并行同步传输的方式将抽取的日志数据传输到预处理端,在预处理端进行原始数据的事务合并处理,然后在装载发布端通过数据订阅的形式获取预处理端的队列数据,数据内容放入本地缓存队列文件,最后对本地缓存队列文件进行数据转换、数据装载入库,从而实现数据交互复制。通过测试对比分析,验证了该模型不但可以保证两端数据一致性,而且还具有较低的数据复制延时。

关键词: Redo日志抽取, 数据预处理, 数据订阅, 数据装载, 数据一致性, 复制延时

Abstract: This paper presents an interactive data replication model based on log parsing for cross-database platform, cross-operating system platform and cross-hardware platform. The model extracts the incremental change log data from the Redo log of the database, and then transfers the extracted log data to the preprocessing end using the parallel synchronous transmission method. The preprocessing end performs the transaction merging processing of the original data, and then obtains the queue data of the preprocessing end through the data subscription form on the loading publishing end, puts the data content into the local cache queue file, finally carries on the data transformation to the local cache queue file, and loads the data in storage. The comparison and analysis show that the model not only can guarantee the consistency of data, but also has a low data replication delay.

Key words: Redo log extraction, data preprocessing, data subscription, data loading, data consistency, replication delay

中图分类号: