免费论文：虚拟计算环境中数据资源管理及其优化技术研究

互联网时代，伴随着新兴应用和用户的不断成长，随之产生的海量数据使人类社会步入“大数据”时代，如何获取与管理海量真实的运行数据，并能有效地进行分析处理，自然成为现代信息技术企业，特别是互联网企业的一种核心竞争能力，成为超越传统模式的关键途径。然而，由于数据中心建设和系统运营维护的巨大经济投入和高技术门槛，“大数据”的分析处理技术与能力一直为谷歌等大型互联网企业所垄断，从而严重制约了成长型互联网企业的发展和科研机构自主创新水平的提升。因此，迫切需要提供一种新的计算模式和基础架构以满足成长型互联网企业和中小科研机构对“大数据”分析和处理的应用需求。 谷歌提出的MapReduce技术框架经过实际部署检验，成为支持大数据应用的软件技术事实标准，其开源实现Hadoop系统，在工业界和学术界都得到了普及应用。同时，伴随着资源虚拟化技术的日益成熟和云计算服务的推广应用，借助云计算提供的基础架构即服务构建虚拟计算环境，进而支持大数据应用，成为虚拟计算技术的热点研究方向之一。 虚拟计算环境中，虚拟化所带来的性能损耗、虚拟资源的异构性、动态性和高故障率使得运行其中的大数据应用性能下降，制约了这种应用模式的普及推广。因此，结合虚拟计算环境自身特点，针对数据资源管理及其优化问题开展研究，为数据资源管理、多用户作业调度以及慢任务执行提供优化技术，进而为上层大数据应用提供更好的性能保障，成为一个亟待解决的问题。 针对上述问题，本文在深入分析虚拟计算环境的自身特性和大数据应用主流支撑软件的技术特点基础上，围绕虚拟计算环境中数据资源管理及其优化技术这一研究课题，重点研究了虚拟计算环境中的虚拟资源分簇与数据副本放置优化技术，多用户共享场景中公平与效率兼顾的作业调度技术以及异构资源环境中慢任务执行优化技术。基于本文研究成果，研制了数据网格中间件系统CROWN Data和虚拟集群软件平台CROWN Virtual Cluster，通过部署实践验证了本文研究成果和关键优化技术的有效性。 本文具体工作内容及研究成果包括： 1. 针对虚拟计算环境中的数据资源管理问题，提出了基于完全图的资源节点分簇优化技术GOLD和基于资源分簇的数据副本管理技术CRAVE。实验表明，上述数据资源管理技术能够在信息不对称的情况下提供虚拟资源节点优化分簇信息，不仅能够有效提升虚拟计算环境中数据读写操作性能，而且能够为上层作业调度提供数据本地性启发机制，为大数据应用性能优化提供关键技术支撑。 2. 针对虚拟计算环境中多用户共享场景下公平与效率兼顾的作业调度问题，提出了基于最小代价流的公平自适应作业调度技术FAST，在保障多用户共享资源的最大效用-最低保障公平性的基础上，通过作业调度中任务分配的全局优化，实现系统吞度率的最大化。实验表明，相对现有的公平调度机制，FAST能够有效提升作业调度的任务分配中所取得的数据本地性比率，从而能够降低作业运行时间多达32%。 3. 针对虚拟计算环境中的慢任务执行优化问题，提出了基于组合优化的预测执行技术CREST，借助数据资源分布、计算节点性能、节点间网络带宽等细粒度资源信息，通过预测执行任务调度的组合优化，实现慢任务快速完成。仿真实验表明，CREST能够降低预测执行任务执行时间多达70%。 4. 结合上述研究成果，研制了数据网格中间件系统CROWN Data和虚拟集群软件平台CROWN Virtual Cluster，并在服务网格CROWN广域网试验环境中得到部署应用，验证了本文研究成果及关键优化技术的有效性，为跨自治域的数据资源共享和软件资源集成提供了软件基础架构及部署应用支撑。

来源：半壳优胜育转载请保留出处和链接！

本文链接：http://www.87cpy.com/262939.html