基于文件队列的分级存储系统FQ-HSM的设计与实现

doi:10.3969/j.issn.1006-2475.2017.02.014

计算机与现代化

基于文件队列的分级存储系统FQ-HSM的设计与实现

（1.西北工业大学教务处，陕西西安710072；2.西北工业大学计算机学院，陕西西安710072）

收稿日期:2016-10-24 出版日期:2017-03-09 发布日期:2017-03-20
作者简介:张瑞杰(1989-)，男，内蒙古鄂尔多斯人，西北工业大学教务处实习研究员，硕士，研究方向: 云存储管理与测评；张文生（1983-），男，助理研究员，研究方向：数据库；李战怀(1961-)，男，西北工业大学计算机学院教授，博士生导师，研究方向：数据库。
基金资助:
国家863计划资助项目(2013AA01A215)；西北工业大学高等教育研究基金资助项目（2015GJZ08）

Design and Implementation of Hierarchical Storage System FQ-HSM Based on File Queue

(1. Academic Affairs Office of Northwestern Polytechnical University， Xian 710072, China;

2. School of Computer Science, Northwestern Polytechnical University, Xian 710072, China)

Received:2016-10-24 Online:2017-03-09 Published:2017-03-20

摘要/Abstract

摘要：

以简化分级存储的架构作为出发点，提出基于文件队列的分级存储系统FQ-HSM。系统基于文件价值计算模型，计算文件在系统中的相对价值，据此组建文件队列，利用存储容量最大最小预警机制制定数据迁移计划。通过系统测试，FQ-HSM系统具备了数据分级、数据自动迁移、用户透明访问等一个分级存储应有功能；在性能上，较目前存在的基于文件大小、文件访问频率等数据分类算法的分级有更大的命中率和较小的数据回迁率。

关键词: 分级存储, 文件队列, 文件价值计算模型, 数据迁移, 数据分级

Abstract:

Through simplifying the architecture of hierarchical storage system, this paper puts forward a hierarchical storage system FQ-HSM based on file queue. Based on the FVAP（File Value Accurate Prediction）, FQ-HSM calculates the system relative values of files and builds file queue, then it decides the data migration plan through storage early warning mechanism. After testing FQ-HSM, the results show that it has had due functions: data classifying, data automatically migrating, user transparently accessing and so on. FQ-HSM shows a good performance compared with present data classifying methods in hit rate and back-migration rate.


Key words: hierarchical storage, file queue, file value accurate prediction, data migration, data classifying

中图分类号:

TP317.1

张瑞杰1，张文生1，李战怀2. 基于文件队列的分级存储系统FQ-HSM的设计与实现[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2017.02.014.

ZHANG Rui-jie1, ZHANG Wen-sheng1, LI Zhan-huai2. Design and Implementation of Hierarchical Storage System FQ-HSM Based on File Queue[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2017.02.014.

参考文献

［1］张广艳,丘建平. 分级存储系统中一种数据自动迁移方法［J］. 计算机研究与发展, 2012,49(8):1804-1810.
［2］Levitan K B. Information resources as “Goods” in the life cycle of information production［J］. Journal of the American Society for Information Science, 1982,33(1):44-54.
［3］蒋平川,冯圣中. 视频访问负载的分级存储及迁移算法研究［J］. 计算机工程与设计, 2012,33(8):3059-3063.
［4］聂雪军,秦磊华,周敬利,等. 内容感知存储系统中自动分级存储模型研究［J］. 小型微型计算机系统, 2011,32(6):1151-1156.
［5］唐竟. 基于信息生命周期管理的数据迁移技术研究［D］. 长沙:湖南大学, 2009.
［6］Drakard M. Dynamic storage infrastructure［J］. BT Technology Journal, 2005,23(3):59-64.
［7］Beigi M, Devarakonda M, Jain R, et al. Policy-based information lifecycle management in a large-scale file system［C］// 2005 6th IEEE International Workshop on Policies for Distributed Systems and Networks. 2005:139-148.
［8］Vengerov D. A reinforcement learning framework for online data migration in hierarchical storage systems［J］. The Journal of Supercomputing, 2008,43(1):1-19.
［9］He Mei, Ling Xing, Li Guobin. A data migration strategy for HSM based on data value［J］. Journal of Information & Computational Science, 2011,8(2):312-317.
［10］Schutzman N F. Method and apparatus for hierarchical storage management for data base management systems: U.S., 5822780［P］. 1998-10-13.
［11］Yagawa Y. Method and apparatus for hierarchical storage management based on data value and user interest: U.S., 7177883［P］. 2007-2-13.
［12］张迎春,张卫. 虚拟化环境中的存储基础架构管理及优化方案［J］. 计算机与现代化, 2013(10):226-228.
［13］叶英,刘佩林. 众核系统私有存储自适应共享化架构设计与实现［J］. 计算机与现代化, 2013(4):48-52.
［14］廖湘科,李姗姗,董威,等. 大规模软件系统日志研究综述［J］. 软件学报, 2016(8):1934-1947.
［15］张天翼. 云计算环境下的分布存储关键技术［J］. 通讯世界, 2015(17):89-89.
［16］许春聪,黄小猛,吴诺,等. 分布式文件系统存储介质评测与分析［J］. 计算机学报, 2010,33(10):1873-1880.
［17］Guerra J, Pucha H, Glider J, et al. Cost effective storage using extent based dynamic tiering［C］// Proceedings of The 9th USENIX Conference on File and Storage Technologies (FAST). 2011:273-286.
［18］郭刚,于炯,鲁亮,等. 内存云分级存储架构下的数据迁移模型［J］. 计算机应用, 2015,35(12):3392-3397.

[1]	苏江文1，孔晓昀2，宋立华1，张垚1. 一种非结构化的数据统一存储平台[J]. 计算机与现代化, 2016, 0(11): 69-73,103.
[2]	冯钧,王纯,朱康康,魏童童. 基于Hadoop的访问热点副本迁移技术[J]. 计算机与现代化, 2016, 0(1): 108-113.
[3]	刘晴和，杨云，贺兴亚，徐文春，周媛媛. 基于业务分割的并行式大数据迁移策略研究[J]. 计算机与现代化, 2014, 0(11): 86-89.
[4]	欧阳静李兰友. 面向经营分析系统的数据仓库架构设计与存储研究[J]. 计算机与现代化, 2011, 12(12): 103-105.
[5]	范炜玮. 基于SOA的体检数据迁移系统的设计与实现[J]. 计算机与现代化, 2011, 1(11): 150-4.
[6]	郑仕勇王亚伟曹忠锋王新星. 数据迁移技术在社保业务中的应用研究[J]. 计算机与现代化, 2010, 1(4): 0-183.
[7]	沈志超. 软件产品平滑升级的设计实现[J]. 计算机与现代化, 2009, 8(8): 157-160.

基于文件队列的分级存储系统FQ-HSM的设计与实现

Design and Implementation of Hierarchical Storage System FQ-HSM Based on File Queue

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 7

编辑推荐

Metrics

本文评价