计算机与现代化

• 软件工程 • 上一篇    下一篇

基于在线压缩的数据采集存储系统

  

  1. (西北工业大学计算机学院,陕西 西安 710129)
  • 收稿日期:2014-03-31 出版日期:2014-07-16 发布日期:2014-07-17
  • 作者简介:扶元地(1989-),男,河南光山人,西北工业大学计算机学院硕士研究生,研究方向:网络存储; 张延园(1954-),男,教授,硕士生导师,研究方向:软件工程,网络软件,存储网络; 林奕(1976-),男,副教授,硕士生导师,研究方向:网络存储,实时存储。
  • 基金资助:
    国家科技支撑计划基金资助项目(2011BAH04B05)

Data Acquisition and Storage System Based on Online Compression

  1. (College of Computer Science, Northwestern Polytechnical University, Xi’an 710129, China)
  • Received:2014-03-31 Online:2014-07-16 Published:2014-07-17

摘要: 在高速数据采集存储系统中,随着数据存储速度需求越来越高,数据带宽和计算能力的快速增长,存储性能越来越成为系统性能的瓶颈。为此,设计并实现一个基于在线压缩的数据采集存储系统。该系统通过提供一套简单的API,实现自身的灵活性以及高可集成性。系统允许用户注册自己的压缩算法,同时向用户屏蔽压缩数据的管理,并且对数据压缩以及存储过程进行优化。实验结果表明,在数据达到一定压缩率情况下,该系统显著地减少数据存储时间,提高了系统的存储速率,同时提高了存储空间利用率。

关键词: 数据采集, 存储, 在线压缩

Abstract: In high-speed data acquisition and storage system, storage rate is expected higher and higher. Compared with the high performance of computing capability and network bandwidth, storage system has become the bottleneck of the whole system. This paper implements a data storage system. To achieve high integrity, this system implements a set of simple API and allows developers to use the specified compression algorithm. Finally, by the test, the system improves the data rate significantly, as well as the utilization rate of storage space, under the condition of a proper compression ratio.

Key words: data acquisition, storage, online compression

中图分类号: