毕业设计-IaaS与大数据平台方案设计与实施

毕业设计设计题目：IaaS与大数据平台方案设计与实施专业班级：学生姓名：指导教师：设计时间：2019年5月13日-2019年6月7日XXXXXXXXXXX学院XXXXXXXX学院毕业设计任务书任务下达日期：2019年5月13日-2019年6月7日设计题目：IaaS平台与大数据平台方案设计与实施设计主要内容和要求：该云平台使用的是先电版IaaS平台（XianDian-IaaS-v2.2.iso）以及配置资料。

该平台由2台服务器组成，1台控制节点（controller），1台计算节点（compute）根据先电提供的脚本文件，可以快速的部署IaaS平台。

在IaaS平台上创建两个云主机用来部署先电大数据平台，一台master和一台slaver1。

先电大数据平台是基于Ambari进行二次开发的Hadoop分布式集群配置管理工具，该平台通过安装向导来进行集群的搭建。

先电大数据平台支持作业与任务执行的可视化与分析，能够更好地查看依赖和性能。

它的用户界面非常直观，用户可以轻松有效地查看信息并控制集群。

教学团队负责人签字：指导教师签字：年月日年月日XXXXXXX毕业设计指导教师评语评语：该生能比较全面的完成毕业设计的任务，方案合理、方法正确，能综合运用本专业的基础知识，分析问题和解决问题的强力较强。

能够运用相关开发技术及软件，进行资料收集、加工和处理。

本文是通过先电提供的软件包，基于IaaS平台的大数据平台方案设计，该平台由2台服务器组成，1台控制节点（controller），1台计算节点（compute）根据先电提供的脚本文件，可以快速的部署IaaS平台，先电大数据平台是使用IaaS云主机部署的。

先电大数据平台是基于Ambari进行二次开发的Hadoop分布式集群配置管理工具，该平台通过安装向导来进行集群的搭建，简化了集群部署和管理，然后再简单介绍了大数据的应用等。

该设计符合专业培养目标，达到了综合训练的目标。

该生查阅文献资料的能力较强，能全面收集相关资料，文题相符、重点突出、内容完整，层级结构安排科学，逻辑关系清楚，格式符合规范要求。

成绩：指导教师签名：年月日XXXXXXX学院毕业设计答辩记录摘要随着云时代的来临，大数据也吸引越来越多的关注，企业在日常运营中生成、积累的用户网络行为数据。

这些数据是如此庞大，计量单位通常达到了pb、eb甚至是zb。

hadoop作为一个开源的分布式文件系统和并行计算编程模型得到了广泛的部署和应用。

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

本文将介绍基于OpenStack平台，使用云主机实现Hadoop完全分布式集群的具体搭建过程与基于hive的数据分析平台的设计与实现。

OpenStack是一个由NASA（美国国家航空航天局）和Rackspace合作研发并发起的，以Apache许可证授权的自由软件和开放源代码项目。

OpenStack是一个开源的云计算管理平台项目，由几个主要的组件组合起来完成具体工作。

OpenStack支持几乎所有类型的云环境，项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。

OpenStack通过各种互补的服务提供了基础设施即服务（IaaS）的解决方案，每个服务提供API以进行集成。

OpenStack是一个旨在为公共及私有云的建设与管理提供软件的开源项目。

它的社区拥有超过130家企业及1350位开发者，这些机构与个人都将OpenStack作为基础设施即服务（IaaS）资源的通用前端。

OpenStack项目的首要任务是简化云的部署过程并为其带来良好的可扩展性。

OpenStack包含社区维护的8个核心项目，还有许多孵化项目，其中Swift、Nova 和Glance是最主要的3个项目。

Swift提供对象存储服务，Nova是提供虚拟换计算服务，Glance提供虚拟机镜像管理服务。

此外还包括Keystone身份认证服务、Neutron 网络服务等项目作为辅助模块。

上述三大主要项目既可以单独使用，也可以组合起来搭建一个通用的IaaS云平台。

关键字：OpenStack,云计算, Hadoop，MapReduce，Hive。

目录1 毕业设计单位概况 (1)1.1 毕业设计时间 (1)1.2 毕业设计地点 (1)1.3 毕业设计单位简介 (1)1.4 毕业设计岗位简介 (1)2 绪论 (2)2.1 研究背景 (2)2.2 研究意义 (2)3 相关技术分析 (3)3.1 IaaS体系结构 (3)3.2 大数据技术简介 (3)4 平台实现 (5)4.1 IaaS平台方案设计 (5)4.1.1 IaaS平台部署 (5)4.2 大数据平台方案设计 (9)4.2.1 大数据平台部署 (9)4.2.2 管理Hadoop集群 (14)5 总结 (19)致谢 (20)参考文献 (21)附录 (22)1毕业设计单位概况1.1毕业设计时间2019年5月13日至2019年6月7日。

1.2毕业设计地点XXXXXXXXXXXXXX1.3毕业设计单位简介本人毕业设计期间的实习单位是：XX科技有限公司公司拥有一批年富力强、勇于创新、勇于开拓的专业技术队伍，具有丰富的理论研究基础和研发实践经验，均从事过多年大型软件系统的研制开发，对计算机软件尤其是信息平台软件有较深的研究。

技术研发同时依托重庆工程创新创业研究中心和信息学院与中兴学院，具有强大的后备研发力量支撑。

经营范围：计算机软件开发、计算机系统服务、计算机网络技术开发、技术服务、设计、制作、代理、发布广告、网络维护销售计算机软件及辅助设备，电脑产品及配件、电子产物。

通信相关的设计，工程，服务等。

1.4毕业设计岗位简介参与制定公司发展战略、年度经营计划和预算方案；组织研究行业最新产品的发展方向，主持制定公司产品发展战略规划，组织制定和实施重大产品决策，及时了解和监督产品发展战略规划的执行情况；领导分管部门制度建设并组织实施年度工作计划，完成年度任务目标；审批立项申请报告，主持研发项目立项工作，组织配置各种资源投入项目开发工作，控制开发成本，并监督实施；主持开发新产品项目所需的设备选型、试制、改进以及工艺设计等工作，指导、审核项目总体方案，对各项目进行质量控制；与用户进行技术交流，了解用户在技术与业务上的发展要求，并解答用户提出的与产品技术相关问题；制定开发人员的培训计划，并组织安排公司其他相关人员的技术培训。

协调研发中心与公司各部门的工作关系，对各部门提供产品技术支持；完成上级领导布置的其他任务。

2绪论2.1研究背景数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。

随着互联网的发展，网站或者业务系统所需要处理的业务量快速增长，例如在线视频或者图片共享网站需要为用户储存和处理大量的数据。

这类系统所面临的重要问题是，如何在用户数量快速增长的情况下快速扩展原有系统，随着网络的普及将有越来越多的设备连入互联网，IT系统将要处理更多的业务量。

hadoop是apache软件基金会旗下的一个开源分布式计算平台。

以hadoop分布式文件系统和mapreduce为核心的hadoop为用户提供了系统底层细节透明的分布式基础架构。

hdfs的高容错性、高伸缩性等优点允许用户将hadoop部署在低廉的硬件上，形成分布式系统，mapreduce分布式编程模型允许用户在不了解分布式系统底层细节的情况下开发并行应用程序。

hadoop已经发展成为包含多个子项目的集合。

核心内容是mapreduce和hadoop分布式文件系统（dhfs）。

它也包含了pig、mahout、spark、hive、hbase等子项目，他们在核心层的基础上提供了高层服务，为hadoop的应用推广起到了重要作用。

先电大数据使用ambari为平台提供作业与任务执行的可视化与分析，能够更好地查看依赖和性能。

通过一个完整的RESTful API把监控信息暴露出来，集成了现有的运维工具。

平台使用Ganglia收集度量指标，用Nagios支持系统报警。

2.2研究意义通过云计算，可以把分散的、低效的、低水平的数据中心逐步淘汰替换，让子公司的IT变得不再重要，因而大大降低运维成本和使用成本。

而在当下，很多企业的创新都是封闭的。

通过云计算，可以让大家协同在一个社会化的云平台，从而让由客户驱动的企业创新成为可能。

市场有什么动态，企业可以马上做出反应，并快速进入市场。

“大数据”是一个体量特别大，数据类别特别庞杂的数据集合，并且这样的数据集无法用传统数据库工具或常规软件工具抓取、管理和处理其内容。

大数据技术是指从各种各样类型的庞杂数据中，快速的获取有价值的信息的能力。

适用于大数据的技术包括大规模并行处理数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台和可扩展的存储系统。

3相关技术分析3.1IaaS体系结构计算（Compute）：Nova。

用于管理虚拟机实例，根据用户需求来提供虚拟服务。

负责虚拟机创建、开机、关机、挂起、暂停、调整、迁移、重启、销毁等操作，配置CPU、内存等信息规格。

对象存储（Object Storage）：Swift。

一套用于在大规模可扩展系统中通过内置冗余及高容错机制实现对象存储的系统，允许进行存储或者检索文件。

可为Glance提供镜像存储，为Cinder提供卷备份服务。

镜像服务（Image Service）：Glance。

一套虚拟机镜像查找及检索系统，支持多种虚拟机镜像格式（AKI、AMI、ARI、ISO、QCOW2、Raw、VDI、VHD、VMDK），有创建上传镜像、删除镜像、编辑镜像基本信息的功能。

身份服务（Identity Service）：Keystone。

为OpenStack其他服务提供身份验证、服务规则和服务令牌的功能，管理Domains、Projects、Users、Groups、Roles。

网络&地址管理（Network）：Neutron。

提供云计算的网络虚拟化技术，为OpenStack其他服务提供网络连接服务。

为用户提供接口，可以定义Network、Subnet、Router，配置DHCP、DNS、负载均衡、L3服务，网络支持GRE、VLAN。

插件架构支持许多主流的网络厂家和技术，如OpenvSwitch。

块存储(Block Storage)：Cinder。

为运行实例提供稳定的数据块存储服务，它的插件驱动架构有利于块设备的创建和管理，如创建卷、删除卷，在实例上挂载和卸载卷。