基于在线压缩的数据采集存储系统

doi:10.3969/j.issn.1006-2475.2014.07.011

计算机与现代化 ›› 2014, Vol. 0 ›› Issue (7): 49-52+57.doi: 10.3969/j.issn.1006-2475.2014.07.011

基于在线压缩的数据采集存储系统

（西北工业大学计算机学院，陕西西安 710129）

收稿日期:2014-03-31 出版日期:2014-07-16 发布日期:2014-07-17
作者简介:扶元地（1989-），男，河南光山人，西北工业大学计算机学院硕士研究生，研究方向：网络存储; 张延园（1954-），男，教授，硕士生导师，研究方向：软件工程，网络软件，存储网络; 林奕（1976-），男，副教授，硕士生导师，研究方向：网络存储，实时存储。
基金资助:
国家科技支撑计划基金资助项目（2011BAH04B05）

Data Acquisition and Storage System Based on Online Compression

(College of Computer Science, Northwestern Polytechnical University, Xi’an 710129, China)

Received:2014-03-31 Online:2014-07-16 Published:2014-07-17

摘要/Abstract

摘要： 在高速数据采集存储系统中，随着数据存储速度需求越来越高，数据带宽和计算能力的快速增长，存储性能越来越成为系统性能的瓶颈。为此，设计并实现一个基于在线压缩的数据采集存储系统。该系统通过提供一套简单的API，实现自身的灵活性以及高可集成性。系统允许用户注册自己的压缩算法，同时向用户屏蔽压缩数据的管理，并且对数据压缩以及存储过程进行优化。实验结果表明，在数据达到一定压缩率情况下，该系统显著地减少数据存储时间，提高了系统的存储速率，同时提高了存储空间利用率。

关键词: 数据采集, 存储, 在线压缩

Abstract: In high-speed data acquisition and storage system, storage rate is expected higher and higher. Compared with the high performance of computing capability and network bandwidth, storage system has become the bottleneck of the whole system. This paper implements a data storage system. To achieve high integrity, this system implements a set of simple API and allows developers to use the specified compression algorithm. Finally, by the test, the system improves the data rate significantly, as well as the utilization rate of storage space, under the condition of a proper compression ratio.

Key words: data acquisition, storage, online compression

中图分类号:

TP319

扶元地，张延园，林奕. 基于在线压缩的数据采集存储系统[J]. 计算机与现代化, 2014, 0(7): 49-52+57.

FU Yuan-di, ZHANG Yan-yuan, LIN Yi. Data Acquisition and Storage System Based on Online Compression[J]. Computer and Modernization, 2014, 0(7): 49-52+57.

参考文献

[1] 王婕. 分布式网络数据采集关键技术研究[D]. 太原:中北大学, 2011.

[2] 童子权,贾俊. 采用FPGA的高速数据采集系统[J]. 国外电子测量技术, 2008,27(12):30-32.

[3] 王伟楠. 基于PCI/CPCI总线的高速数据采集卡的设计与实现[D]. 西安:西安电子科技大学, 2004.

[4] 王海明,胡金龙,吴丽华. 基于PCI总线的高速数据采集卡设计[J]. 计算机测量与控制, 2012,20(12):3393-3396.

[5] 吴鹏. 高速实时Flash阵列数据采集系统研究与实现[D]. 南京:南京理工大学, 2007.

[6] 安海磊. 高速数据采集存储系统设计[D]. 西安:西安电子科技大学, 2012.

[7] 李玉爽,刘东明,朱爱玲. 基于LZO算法的嵌入式高速无线数据采集系统[J]. 电子测量技术, 2011,34(7):67-70.

[8] 尹志勇,焦新泉,任勇峰. 雷达视频回波信号实时采集、压缩转发装置[J]. 计算机测量与控制, 2010,18(2):479-481.

[9] 幸羿南. 高速并行数据采集系统关键技术的研究[D]. 西安:西安电子科技大学, 2006.

[10] Microsoft Corporation. File Compression and Decompression in NTFS[EB/OL]. http://msdn.microsoft.com/en-us/library/aa364219, 2013-12-21.

[11] Google. FuseCompress[EB/OL]. http://code.google.com/p/fusecompress, 2013-12-21.

[12] Abadi D J, Madden S R, Ferreira M C. Integrating compression and execution in column-oriented database systems[C]// Proceedings of the 2006 ACM SIGMOD International Conference on Management of Data. 2006.

[13] Poess M, Potapov D. Data compression in Oracle[C]// Proceedings of the 29th VLDB Conference. 2003.

[14] Welton B, Kimpe D, Cope J, et al. Improving I/O forwarding throughput with data compression[C]// Proceedings of the 3rd Workshop on Interfaces and Abstractions for Scientific Data Storage. 2011:438-445.

[15] Makatos T, Klonatos Y, Marazakis M, et al. ZBD: Using transparent compression at the block level to increase storage space efficiency[C]// Proceedings of the 2010 International Workshop on Storage Network Architecture and Parallel I/Os. 2010:61-70.

基于在线压缩的数据采集存储系统

Data Acquisition and Storage System Based on Online Compression

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	李俊晓1, 张小琳1, 石静2. 基于区块链增强的车辆边缘计算网络安全数据存储和共享[J]. 计算机与现代化, 2024, 0(07): 69-75.
[2]	余春雷1, 2, 刘笃晋1, 朱华伟1, 杨佳蓉3. 基于Petersen图的部分重复码[J]. 计算机与现代化, 2024, 0(03): 122-126.
[3]	王哲, 王玉玫, 吴亚非, 臧义华. 基于RDMA的分布式键值存储系统性能优化[J]. 计算机与现代化, 2023, 0(02): 24-27.
[4]	邱金水, 庄会富, 金涛. 面向海量植物图像的智能检索系统设计[J]. 计算机与现代化, 2022, 0(10): 62-67.
[5]	单珂, 张一鸣, 刘瑞霞, . 面向中原城市群的科技服务资源池研究与设计[J]. 计算机与现代化, 2022, 0(07): 91-96.
[6]	刘铮, 吴柯桦, 叶春晓. 增强安全的云存储数据访问控制方案[J]. 计算机与现代化, 2021, 0(10): 119-126.
[7]	雷鸣, 姜罕盛, 武国良, 赵玉娟, 梁健. 基于HBase的大数据架构下负载平衡技术[J]. 计算机与现代化, 2021, 0(06): 91-95.
[8]	雷鸣, 赵玉娟, 姜罕盛, 武国良, 梁健. 基于分布式技术的气象系统数据服务平台构建[J]. 计算机与现代化, 2020, 0(11): 56-59.
[9]	陈浩, 张亚, 罗希昌, 张亚力, 刘文静. 基于MongoDB的气象数据存储检索系统#br#[J]. 计算机与现代化, 2020, 0(08): 100-104.
[10]	曹永明. 一种无安全信道的模糊关键字搜索加密方案[J]. 计算机与现代化, 2020, 0(04): 42-.
[11]	张茜,王箭. 基于盲签名的云共享数据完整性审计方案[J]. 计算机与现代化, 2020, 0(04): 60-.
[12]	苏林萍，安然，李为，崔文超，张晓良. 基于Hadoop的电力运维审计系统的设计[J]. 计算机与现代化, 2020, 0(01): 49-.
[13]	王子炫，魏力，张育平. 基于磁光虚拟存储系统的文件调度算法[J]. 计算机与现代化, 2019, 0(05): 7-.
[14]	谢宾铭,王晓东. 区域网络中异构数据库存储复制技术[J]. 计算机与现代化, 2018, 0(07): 1-.
[15]	莫城为，范冰冰. DOP：一种数据开放框架及其应用[J]. 计算机与现代化, 2018, 0(07): 6-.