基于对象存储元数据管理策略的研究与实现
The Research and Implementation of Metadata-Manage Staregy Technology Based on the Object Storage System
目前在超级计算领域,对高I/O吞吐率、高并行性和高扩展性的存储系统要求日益迫切,而传统的存储系统已经难以满足应用需求,实际的需求推动着存储系统不断向前发展,一种新兴的存储模式,基于对象存储系统(Object Based Storage,OBS)应运而生,成为当前存储技术发展的主要趋势.文件级元数据主要由OBS中元数据服务器(Meta-data Server,MDS)进行存储和管理,元数据具有文件小而数量多的特点.在OBS操作系统中50%-80%的文件操作与元数据息息相关,因此元数据管理的管理效率一定程度上决定着存储系统性能的高低.目前的元数据管理策略存在几个方面的不足:1)元数据重命名和修改目录会造成大量元数据迁移和网络开销.2)集中式单MDS因大量客户同时对某一元数据高密度的集中访问而成为"热点",造成负载失衡从而影响系统的性能.针对上述不足,本文提出了一种可以运行在分布式多MDS环境下新的元数据管理策略-DMHM策略.该策略引入改进的B+树结构,将目录子树分割若干B+等子树,可以将MDS中的目录元数据和文件元数据分别进行管理与存储.DMHM策略不仅可以降低重命名和修改产生的开销,而且可以有效避免热点的产生,保持负载平衡.在此基础上,设计并构建了一个小型的分布式MDS系统-DMSS模型,并在DMSS系统提供的分布式MDS系统环境下,对DMHM策略的文件、目录等操作进行实现.针对负载均衡问题,设计了元数据动态均衡算法,引入了热度统计概念,以叶子元数据为热度统计单位,并完成DMHM策略"热点"的添加、分散、复制和删除操作,以提高系统性能的可用性与扩展性.最后进行了测试分析,分别对静态子树法、Lazy Hybrid(LH)法和DMHM策略进行了比较.对元数据分布的测试表明,DMHM策略元数据在总体上呈均匀分布;对元数据迁移率的测试表明,DMHM策略相对与其它元数据管理策略,迁移率要小的多;对吞吐量的测试表明,DMHM策略相对于其它两种策略具有明显的优势,更加适合动态变化的分布式MDS系统;对读操作、创建操作和重命名操作的时间响应度测试表明,DMHM策略的系统响应时间明显低于静态子树法,在文件目录重命名操作上提升也非常明显,具有很大的优势.
- 作者：
- 方圆
- 学位授予单位：
- 解放军信息工程大学
- 专业名称：
- 计算机应用技术
- 授予学位：
- 硕士
- 学位年度：
- 2012年
- 导师姓名：
- 杜祝平
- 中图分类号：
- TP333
- 关键词：
- 对象存储；元数据；元数据管理策略；分布式元数据服务器；负载均衡
- The Object-Based Storage；MetaData；Metadata management strategies；Distributed metadata server；Load Balance