云工作流数据管理的若干问题研究
当前云计算在底层的基础设施建设和虚拟化层面取得了很大发展,然而人们对于上层的应用构造还缺少深入的研究,导致云计算的应用价值没有充分地体现.企业或单位现阶段全盘采用云计算并不现实,出于数据安全的考虑和对既有IT资产的保护,只会将部分资源部署在云端.相当长一段时间内,会存在云端资源与用户端资源并存的局面,能综合利用两端资源的集成型应用将成为一种重要的应用形态.为了构造这种集成型应用,人们迫切需要一种易用的构造工具以及相应的运行时支撑环境.
工作流作为一种协作和集成的支撑技术,在过去的几十年中得到了充分的研究,其对分布资源的集成能力以及友好的图形化建模方式受到了广泛的认可.基于云计算基础设施之上的"云工作流"平台将会有广泛的前景:一方面应用构造者可以方便地构造出能综合利用两端资源的集成型应用,另一方面有协作关系的应用构造者也可以通过这个平台共享彼此的资源.与传统工作流不同,受资源交付方式、系统边界等因素变化的影响,云工作流中的数据管理面临一些新问题:(1)受云端的计费模式及安全性的影响,两端资源之间的业务数据联动会给应用构造者带来资金、时间、安全风险等多方面的成本,需要研究如何控制数据联动中的成本;(2)受广域网带宽的限制,在服务输出数据量大的情况下,两端服务之间业务数据联动的效率成为制约流程运行效率的瓶颈,需要研究如何提高数据联动的效率;(3)面对大规模的数据和密集的流程请求,需要研究如何使得流程数据在云端的管理具备可扩展性.针对上述问题本文开展了一系列研究,主要的工作和贡献如下:
1.提出了一种兼顾多维成本的业务数据项优化放置算法,该算法通过优化流程中各业务数据项的放置策略能够有效控制业务数据联动中产生的成本.
在集成型应用中,业务数据联动产生的成本是流程运行时成本的重要组成部分,而业务数据项的放置策略影响着数据联动的成本.为了满足不同应用构造者对各方面成本控制的个性化需求,本文提出了一种兼顾多维成本的业务数据项优化放置算法.其特点在于能充分利用两端资源的优势,综合考虑了流程中每个业务数据项的放置策略对于时间成本、资金成本、安全风险成本几个维度上的综合影响,将求解给定约束条件下的最优放置策略问题转化为整数规划问题来求解.该算法还具有较好的适应性,能够根据应用构造者给出的成本约束条件的多少采用复杂度尽量低的求解方案.实验表明,对于同样的流程,相对于其他的业务数据项放置策略,经该算法优化过的放置策略在运行时造成的总综合成本更低,对成本约束条件的满足率更高.
2.提出了一种两阶段增量式数据复制协议,根据用户端服务输出的业务数据的特点采用差异化的复制策略,有效提高了业务数据联动的效率.
业务数据联动过程中需要复制用户端服务输出的业务数据到云端,而受广域网带宽的限制,当服务输出数据量较大时联动的效率往往成为流程运行的瓶颈.由于用户端的部分服务每次被调用时输出的数据具有较高的重合度,因此可以通过只复制增量数据来提高效率,但是增量数据的识别需要耗费时间,在数据的重合度不高时,效率反而降低.文中提出了一种两阶段增量式流程数据复制协议.其特点在于结合了全量式数据复制和增量式数据复制协议的优点,将增量识别和数据传输并行化,并根据识别出的增量数据大小合理地调整后续的复制策略.通过实验验证,在有代表性的服务集合的调用测试中,该协议的耗时整体上低于其他数据复制协议:是全量式数据复制协议耗时的56%,是增量式数据复制协议耗时的75%.此外,采用该复制协议后,对用户端数据有依赖的流程的运行时间降低较明显,平均可降至原有运行时间的60%.
3.提出了一种基于访问代理模式的可扩展的流程数据管理机制,可满足高并发请求和大数据量下的流程数据管理需求.
云工作流需要管理大规模的业务数据和控制数据,应对密集的流程请求.流程数据的管理机制是制约云工作流可扩展性的关键因素.本文提出了一种基于访问代理模式的可扩展的流程数据管理机制,该机制具有以下特点:(1)充分考虑了云工作流中各种流程数据的特征,综合利用了关系型数据库和分布式键值存储系统各自的优势管理相应的流程数据,并通过抽象的流程数据访问层对数据访问进行有针对性的路由,屏蔽了底层数据模型的差异,提升了系统的整体性能和可扩展性.(2)利用了流程实例状态转移的规律,对经典的关系型数据库读写分离机制进行了改进,通过有选择性的路由实现了一种非对称的读写分离.实验表明,在请求压力不变的情况下,增加同样个数的数据节点,相对于传统的读写分离机制,在该机制作用下流程实例的平均运行时间缩短了30%~60%.
- 作者：
- 孙君意
- 学位授予单位：
- 中国科学院研究生院
- 专业名称：
- 计算机软件与理论
- 授予学位：
- 博士
- 学位年度：
- 2011年
- 导师姓名：
- 韩燕波
- 关键词：
- 云工作流；数据管理；可扩展性；联动效率；成本控制
-