基于井下数据中心虚拟数据整合模型研究
Research on Virtual Data Integration Model in the Data Center of Downhole Job
随着信息技术的不断发展,数据种类、数据存储量都在不断增加,企业信息化建设不断加快.由于采用数据标准不统一等原因,企业内部与企业间的数据交流难度越来越大,数据孤岛的数量急剧增加.如何利用好已经获取的数据对企业的业务活动及决策进行有效支撑,已经成为企业信息化过程的一个至关重要的问题.面对着日渐复杂的数据生存环境,建立多个数据孤岛之间的交流已是企业信息化建设的首要任务.通过分析井下作业分公司数据中心建设中各数据源存在的分布性、异构性、自治性等特点.对虚拟数据整合模型及其实现技术进行充分研究,提出了虚拟数据整合体系结构,构建了虚拟数据整合元数据模型,基于该模型实现信息孤岛间的数据整合.首先,针对数据源分散状况,建立了数据源层.利用元数据技术,建立了虚拟数据整合数据场地元模型.通过元模型实现多个分散数据源的逻辑整合,形成数据统一访问逻辑接口.为有效解决数据源访问效率低的问题,采用数据分割技术构建数据访问层.细化了所访问数据的粒度,提高数据访问效率.其次,针对异构数据模型间的整合问题,以数据中心数据字典为框架,建立了对多个异构数据模型的映射支撑模型.通过元数据模型驱动实现数据转换层,对分割后的数据实现数据转换.同时结合内存映射原理,引用MongoDB作为数据缓存带,将读取到的大量数据存入MongoDB缓存,对缓存的数据实现并行转换处理,提高了数据整合的效率.最后,基于虚拟数据整合元模型,结合中间件、数据物化与NOSQL相关技术,实现数据应用层,参照虚拟数据整合模型中应用元模型对数据进行整合,展示、转储,满足企业对数据的应用需求.本文通过研究虚拟整合模型及其实现技术研究,实现基于元数据的虚拟数据整合体系框架,并实现了原型系统,验证了虚拟整合体系结构合理性,完成井下数据中心虚拟数据整合,实践证明模型及技术的可行性.
- 作者：
- 刘春鹏
- 学位授予单位：
- 东北石油大学
- 专业名称：
- 计算机应用技术
- 授予学位：
- 硕士
- 学位年度：
- 2013年
- 导师姓名：
- 袁满
- 中图分类号：
- TP308
- 关键词：
- 数据虚拟；井下数据中心；元数据；数据映射；NOSQL
- Data Virtual；Data Center of Downhole；Metadata；Data Mapping；NOSQL