xx大学大数据与信息工程学院大数据实验教学平台建设方案XX大数据科技股份有限公司XXXX年11月目录1 概述 (2)1.1 背景 (2)1.2 建设目标 (2)2 科研教学大数据平台概要 (3)2.1 总体架构设计 (3)2.2 大数据教学科研平台配套资源 (4)2.2.1 内容充实的课程体系 (4)2.2.2 多元化的大数据资源包 (5)2.3 科研教学大数据平台优势 (7)2.3.1 安全可靠的实验环境，大幅度提升大数据技能 (7)2.3.2 桌面虚拟化平台架构 (8)2.3.3 增加高校硬实力和影响力 (8)3 科研教学大数据平台详细设计 (9)3.1 桌面虚拟化 (9)3.1.1 平台整体架构 (9)3.1.2 平台组件解析 (10)3.2 大数据实验一体机 (10)3.2.1 架构设计 (11)3.2.2 大数据资源池建设 (12)3.2.3 大数据教学基础平台 (17)3.3 教学云盘 (21)3.3.1 网盘系统设计 (21)3.3.2 文件同步管理系统 (24)3.3.3 文件分析系统 (27)3.3.4 XX网盘特点 (28)3.4 深度学习 (30)3.4.1 深度学习一体机 (31)3.4.2 准系统 (33)3.4.3 GPU (34)1概述1.1背景全球在2010年正式进入ZB 时代，根据IDC监测，人类自有史以来所有数据量大约每18 个月翻一番，意味着人类在最近18个月产生的数据量相当于之前产生的全部数据量，预计到2020 年，全球将总共拥有35ZB的数据量，是2010年的近30倍。
大数据的需求趋势越来越多。
大数据科学研究也在不断壮大，美国哥伦比亚大学和纽约大学、澳大利亚悉尼科技大学、日本名古屋大学、韩国釜山国立大学等纷纷成立大数据科学研究机构；美国加州大学伯克利分校和伊利诺伊大学香槟分校、英国邓迪大学、中国香港中文大学等一大批高校开设了大数据科学课程。
目前全球都面临大数据人才荒，在未来5-10年，我国大数据市场规模年均增速将超过30%，而大数据人才缺口将突破150万，目前大数据人才平均月薪达1.5万，在BAT发布的招聘职位中，大数据人才超过60%，因此在高校开发云计算大数据科研平台，建立云计算大数据科研实验室、创设云计算大数据教学培训，实现高校教学科研一体化流程，将为高校增加学生就业机会和薪资水平，逐步培养当今互联网时代IT行业的大数据人才起到至关重要的作用。
1.2建设目标xx大学大数据与信息工程学院着眼于未来，着手从全球的技术重点难点-大数据的科研和教学出发，拟打造中国大数据教学科研的标杆，建设新一代的大数据研究教学基地，建立一套具有高可靠、可在线弹性伸缩，提供数据内在关系和价值的大数据科研教学平台，教学平台具体建设目标如下：1.建设桌面虚拟化平台，解决普通PC电脑在教学过程中产生的维护难、易感染病毒、数据易丢失等问题。
2.建立大数据实验教学一体化平台，供高校师生进行日常的大数据教学以及上机实验等活动。
3.大数据实验教学配套教材，实验手册以及高清视频教程。
4.建设配套网络云盘系统，实现教学资源、相关资料的备份和共享。
5.建立大数据深度学习一体机，进行高校深度学习的科研平台。
2科研教学大数据平台概要2.1总体架构设计大数据教学科研整体解决方案架构图针对高校大数据实验教学过程中产生的问题，XX大数据为各大高校量身定制了大数据软硬件一体化教学科研平台，平台以大数据实验一体机为核心，通过应用容器技术，在容器中可根据需求部署Hadoop、Spark、Hbase等等进行相应的实验教学活动，平台以少量机器虚拟大量实验集群，供大量学生同时拥有多套集群进行实验，而每个学生的实验环境不仅相互隔离，方便高效的完成实验，而且实验彼此不干扰，即使某个实验环境被破坏，对其他人也没有影响，一键重启就可以拥有一套新集群，大幅度节省了硬件和人员管理的投入成本。
同时为了易于管理、保证数据安全，实验室中全部采用虚拟化桌面系统，用户的操作系统和应用环境是在平台上虚拟出来的，通过网络将图像传输到终端上显示，因此应用的执行全部在服务器上，终端只作为一个输入输出设备，更加安全和可靠。
目前，高校大数据的教学、科研不仅缺少相应的实验设备，同时对于具体实验内容和实验步骤等也缺少相应的经验，对此XX大数据实验教学整体方案提供一套完整的实验教案，一方面通过大数据教材、讲义PPT、视频课程等理论学习，帮助学生建立从大数据监测与收集、存储与处理、分析与挖掘直至大数据创新的完整知识体系，另一方面，搭配教学组件安装包及实验数据、实验手册、专业网站等一系列资源，使高校可在36个大数据实验中任意挑选并轻松完成实验，大幅度降低大数据课程的学习门槛。
同时实验室的教学材料、实验手册等教学资源通过网络云盘进行共享，XX 网络云盘系统是基于XXcStor云存储系统上构建私有云平台，为用户提供了安全、稳定、高效、性价比高的数据管理服务，提供在线预览、断点续传、文件自动同步、局域网加速、自动备份、外链管理、预览权限等功能。
2.2大数据教学科研平台配套资源作为一个可供大量学生完成大数据与云计算实验的集成环境，该平台同步提供了配套的培训服务，对于教学组件的安装、配置，教材、实验手册等具体应用提供一站式服务，有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求，并在一定程度上缓解大数据师资不足的问题。
对于各大高校而言，即使没有任何大数据实验基础，该平台也能助其轻松开展大数据与云计算的教学、实验与科研。
具体资源如下：2.2.1内容充实的课程体系在《实战Hadoop2.0——从云计算到大数据》和实验手册的指导之下，大数据实验一体机解决方案涵盖大数据算法、接口、工具、平台等多方面内容，从大数据监测与收集、大数据存储与处理、大数据分析与挖掘直至大数据创新，帮助高校构建完善的大数据课程体系。
课程体系2.2.2多元化的大数据资源包➢《实战Hadoop2.0》：国内第一本Hadoop编程书籍的升级版——《实战Hadoop2.0》及其配套PPT（国内知名云计算专家、中国信息协会大数据分会副会长刘鹏倾力打造）实战Hadoop2.0➢综合36个大数据实验的实验手册及配套高清视频课程：涵盖原理验证、综合应用、自主设计及创新的多层次实验内容，每个实验呈现详细的实验目的、实验内容、实验原理和实验流程指导，配套相应的实验数据和高清视频课程，参照手册即可轻松完成每个实验。
实验手册大纲➢网站资源：国内专业领域排名第一的网站——中国大数据、中国云计算、中国存储、中国物联网、中国智慧城市等提供全线支持，一网打尽各类优质资源。
2.3科研教学大数据平台优势2.3.1安全可靠的实验环境，大幅度提升大数据技能➢Docker容器技术：大数据教学平台基于Docker容器技术，Docker可以在容器内部快速自动化部署应用，并可以通过内核虚拟化技术（namespaces及cgroups等）来提供容器的资源隔离与安全保障等。
由于Docker通过操作系统层的虚拟化实现隔离，所以Docker容器在运行时，不需要类似虚拟机（VM）额外的操作系统开销，提高资源利用率，并且提升诸如IO等方面的性能，可瞬间创建随时运行的实验环境。
➢按需部署：软件配置方面，各大高校可根据具体应用，在容器云中选择部署Hadoop、HBase、Ambari、HDFS、YARN、MapReduce、ZooKeeper、Spark、Storm、Hive、Pig、Oozie、Mahout、R语言等不同的大数据应用组件。
➢实验集群完全隔离：采用Mesos+ZooKeeper+Mrathon架构管理集群，几台机器即可虚拟出大量实验集群，实验集群完全隔离，实验环境互不干扰，如果实验环境破坏，一键重启即可建立新集群，方便上百学生同时使用。
2.3.2桌面虚拟化平台架构➢完善的全系列虚拟化方案：涵盖瘦客户机、虚拟桌面控制器OVD、虚拟机管理软件OVP三大环节，业界方案最全面，兼容性最好，性价比最高，为企业IT 提供了一种更加精简和安全的方法来管理用户和提供可按需访问的敏捷桌面服务。
➢卓越的用户体验：针对各种应用场景进行性能调优，高效传输协议VDX 达到与传统PC一致的访问体验。
尤其是对于高清视频的本地和在线播放，达到清晰流畅的体验效果。
➢更全面的数据安全保障：OVP,OVD,Thinclient三方认证保障用户接入安全、全方位的加密算法保障传输安全、灵活访问控制进行集中鉴权、数据统一存储和备份保障个人数据安全，高可靠性HA设计保障平台安全，最终实现端到端桌面虚拟化安全保护。
➢集中式WEB管理模式：整套方案的搭建仅需两大组件（OVP和OVD），相对业界其他厂商其部署组件最少，并可提供集中式、单一化的远程运维模式，提高了虚拟桌面部署的易用性和可维护性。
➢专业的本地化服务模式：在全国设立多个办事处有本地化技术支持与专业的虚拟化技术研发团队，成为国内唯一具备自主研发整套虚拟化产品体系的厂商，产品个性化开发能力强，可快速解决产品后期问题。
2.3.3增加高校硬实力和影响力➢提高教学水平，促使学生完善大数据知识体系：大数据实验一体机解决方案采用理论与实验相结合的人才培养模式，基于真实的企业基地实训经验，提供丰富的项目实训案例，结合高校各专业实际情况进行行业数据研究，培养实用型人才的专业项目能力。
➢有助于大数据实验室建设：大数据上升为国家战略，发改委明确组建13个国家级大数据实验室，高校大数据实验教学平台的建设，符合国家战略，起到示范效应，提高高校信息化水平和实验项目研究能力，增强高校硬件实力。
➢提升高校就业水平：大数据产业迎来发展黄金期，人才缺口相当巨大，培养学生相关方面的能力，有助于提供学生就业水平，进而增加高校影响力。
3科研教学大数据平台详细设计根据项目实际情况，建议将高校大数据实验室分为三个步骤进行建设：1、大数据虚拟化平台搭建--针对桌面终端零散无管理现状，部署cDesktop 虚拟云桌面系统；2、后台云存储系统搭建--针对海量综合数据的无序存储及复用，部署大数据实验一体机系统；3、应用系统搭建--基于基础的大数据教学要求，部署智能教学云盘系统；3.1桌面虚拟化3.1.1平台整体架构整体桌面云方案是由云终端Thinclient、虚拟桌面控制器OVD、虚拟机管理平台OVP、服务器存储设备等组成，实现将企业员工的办公桌面统一部署于服务器上，员工的个人数据也集中存储，然后通过网络（局域网或广域网）将个人桌面系统快速交付给员工，员工可以通过各种不同类型的终端设备如瘦客户机、笔记本、手机及平板等随时随地接入办公，打造一种新型的桌面办公模式。
3.1.2平台组件解析cDesktop OVD桌面云平台以独享桌面的形式，将桌面作为一种按需服务随时随地交付给任何用户，利用独特的VDX桌面传输协议， OVD可以快速而安全地向企业内的所有用户交付整个桌面，不管他们是固定办公员工，还是移动办公员工。
