对外经济贸易大学大数据实验室建设草案
第一部分：方案整体概述
大数据产业的发展，对大数据人才出了新的需求，国内各高校在积极进行大数据学术研究的同时，也开始考虑将大数据相关课程纳入培养体系，以满足社会对大数据人才的需求。由于互联网的发展，各行各业的信息都呈爆炸式增长，大数据技术也应与各行各业有机结合。对外经济贸易大学根据产业对大数据人才的需求，培养具有较强社会适应能力和竞争能力的高素质复合型人才，针对学校自身的专业特点开展大数据方向的教学工作，促进专业学科建设，制定符合学科专业发展的大数据技术方向综合解决方案。
实验室将突出经贸类院校特色，特别强化大数据商务智能方向，增加更多实训案例与数据资源，尤其在商务智能方向，增加更多真实企业数据案例。整个教学平台建设方案围绕培养学生数据获取、组织、分析和决策四个核心能力进行建设。对这思想能力的具体描述如下图所示。
图1. 四项核心能力
基于这样的考虑，实验室需要满足对《数据预处理》、《大数据基础与实战》、《分布式数据处理》、《Python数据分析》、《数据可视化》、《商务智能数据分析》和《大数据存储与管理》等实验性较强的课程的软硬件支撑，并在综合实训平台上配备一批真实案例，以让学生掌握真实商业场景下数据工程师所要完成的工作流程，实现闭环工作的体验。目前构思的案例包括：机器学习大数据案例、健康医疗大数据案例、金融服务大数据案例和商务智能大数据案例等四类。其中，为突出财经类院校特色，实验室建设将特别强化大数据在商务智能等领域的落地，增加更多实训案例与数据资源，尤其在商务智能方向，增加更多真实企业数据案例。同时，为满足不同专业背景同学的学习需求，案例在有所侧重的同时保持全面覆盖性，具体不同专业的案例需求如下表所示。
表1. 不同专业的案例方向
专业方向大数据开发方向大数据商务智能方向大数据分析方向
计算机类专业√√
经济管理类专业√√
信息、统计类专业√
表2. 各项能力的基本内涵要求
序
号
方向名称培养目标专业特色就业岗位
1 大数据开发倡导研究型、个性化人才培养理念，培养
具有创新精神和实践能力的精英式人才。
掌握大数据框架和生态系统，大数据架构
原理和使用场景,能结合大数据技术实现
综合应用处理、数据分析等广泛应用，协
助企业决策者制定合适的技术路线或者
业务发展图，使企业适应行业发展需求。
毕业后可在科研院所、企事业单位和行政
管理部门从事大数据相关科学研究、技术
开发应用及管理工作。
开设大数据开发相关特色课程，如
大数据基础与实战、数据可视化、
操作系统原理、计算机组成原理等，
注重教学实验室和实践基地建设，
掌握大数据技术框架和生态系统，
大数据的架构原理和使用场景。
大数据平台运维工程师、大数
据售后技术支持工程师、大数
据系统测试工程师、数据处理
工程师、大数据可视化设计与
开发工程师、大数据应用开发
工程师、大数据安全管控工程
师、大数据研究员
2 数据分析培养具有较高专业素养、科学素养和人文
素养，具有良好数学基础和数据分析思维
能力，较好地掌握数据分析理论、计算机
科学技术及大数据技术的基本知识、基本
理论和基本技能，能在科研、教育、金融、
IT、经济等商业行业领域从事大数据处
理、分析及预测的应用型人才。
通过学习掌握数学科学的基础知识
和基本方法、大数据分析与挖掘技
术的基础知识、基本技能。经过数
学建模、计算机编程语言与数据库
的基本训练，达到较高的科学素养
和较强的创新意识。了解数学或统
计学学科与大数据分析之间的紧密
联系及大数据技术开发应用前沿新
成果和动态。
数据分析师、数据挖掘工程
师、算法工程师、数据工程师、
调研顾问、市场调研经理、数
据运营、数据产品经理、数据
中心负责人
3 商务智能培养学生具有较高专业素养、科学素养和
人文素养，具有良好数据分析思维及企业
经营管理思维，掌握数据处理、商务智能
产品相关技术及不同行业关注指标分类，
通过技术手段为企业高管提供决策支持
及业务发展规划，降低企业经营成本及风
险，提高企业核心竞争力。毕业后能够在
企事业单位从事数据分析、决策支持、业
务发展顾问等工作。
开设数据库、数据建模、ETL技术、
数据可视化技术、商务智能数据分
析等数据科学相关课程，学习了解
企业CRM、ERP等系统架构，结合行
业特点制定商务智能解决方案，为
企业运营提供稳定保障。
BI工程师、ETL工程师、报表
工程师、数据架构师、数据建
模工程师、BI运维工程师、BI
产品顾问、业务咨询顾问、数
据仓库工程师
具体从人才的类型来分，又可以分为数据科学家、数据工程师和数据分析师，其各自的职责和技能需求如下图所示。
图2. 大数据人才的职责和技能
第二部分：大数据平台建设
本项目通过搭建全方位的、专业大数据实践教学云平台，来满足相关学科的教，提高学生的实际应用操作能力。立足于当前大数据的时代背景，集教学、实验、培训、科研于一体的大数据平台，集成业界最前沿应用的大数据实验、提供简单易用的管理功能，并针对教学实训场景量身定制了实验开发调试环境、实验运行管理以及教学等功能。同时，根据工科专业的特色需求，结合一线的实战项目提供多行业多门类具有很强实践性的教学课程和实验课程。将实际企业大数据应用项目引入到课堂，实现学生走出校门企业可用的目的。
平台设计引入“云”的理念，使学生学习、老师授课不再依赖传统教室课堂模式，随时地进行学习实验。为校搭建和完善大数据应用开发的课程体系和教学实训环境，并可以此为基础建设集培训中心、科研中心和体验中心三种功能于一体的高等级大数据教学实验中心。
整个平台分实验教学、案例实训、技能演练和实战、科研等组成，实验教学系统主要为学生提供多梯度、层次式的系列实验，助力学生知识点掌握和基础技能培养；案例实训系统部分，主要为教师和学生提供毕业设计、课程设计以及科研的基础支撑，为师生提供良好的大数据演练环境；技能演练和实战部分为学校提供未来大数据专业人才的选拔提供支撑；科研部分可以满足相关的学术工作。
1. 平台实施框架
专业的大数据实验室，不仅能服务于数据科学与大数据技术专业的数据分析与应用课程的学生实践操作训练，更能满足高校多元化的教学需求，适应当今信
息技术不断发展的对综合素质人才的要求。在整个全方位大数据实验室中，大数
据课程体系设计：涵盖了程序语言开发、大平台搭建、数据采集、数据分析、数据挖掘可视化等多方向的技术体系，并按照大数据项目开发生命周期分为如下五个阶段：
** 数据处理底层架构
** 数据采集和存储
** 数据访问和处理
** 数据统一和分析
** 数据安全/可视化/性能优化
配置对应的课程体系，同时实验课程也根据面向的专业不同，将内容实验内容分为了大数据采集与清洗，流式数据处理、大数据架构部署、大数据分析、大数据可视化以及大数据开放实验等不同内容。这些可由教师进行交叉组合，可以实现针对不同专业与层次学生的定制化实验课程设计。实验内容有数百个实验项目，采用实管理系统，能够为数据挖掘与大数据教学提供一个完整的、一体化的实验教学环境。所以，重点引入大数据实验教学系统，并结合在线平台U-SaaS 等，解决大数据专技术实际动手能力训练的环境，训练学生利用相关工具或者通过技术实现大数据应用，实现对学生大数据技术应用能力的培养，并构建成为院校自身的特色认知培训基地，承担全校师生大数据技术等认知培训。
对于大数据教学的每门课程，实验室需要建设的大数据平台都配备相应的数据资源和计算资源，同时有教案讲义PPT等教学资源，基本满足教师讲授课程的需求，并支持教师个人对教学资源的增减修改等操作。所有云资源都是共享，并可以实时分配，学生基于虚拟化桌面的方式在教师的预先分配下使用课程资源。目前，这个平台设计的规模是可以满足120名学生实时并发地使用。根据现有资源情况和前期调研情况，拟采用云平台虚拟桌面的方式实现相应的功能，所有计算资源由后台底层的硬件池化实现，中层采取虚拟的数据池化方式，最上层是业务层，可实现数据分析等相关操作。具体的云平台实施架构方案见下图。
图3. 大数据云平台实施层次化架构方案
图4. 按服务模式划分的大数据云平台结构
通过将教育资源部署在基于云计算平台的实践教学平台上，依托于云计算、虚拟化以及大数据技术，将分散的IT软硬件资源与教学整合在一起，通过统一的教学平台，向用户提供各种服务。总体架构按照云计算的服务模式划分，可分为如下三个层次。
最底层IaaS是有机地整合在一起的IT资源，包括计算资源、网络资源和存储资源。统一的云计算管理平台将这些资源进行虚拟化管理，向上提供基础服务，包括分布式数据存储与计算服务、负载管理、数据备份等。这一层使用器虚拟化技术，将分布式计算资源进行整合，达到统一管理和使用的目的。
中间的PaaS层为云平台业务调度中心，包括统一身份认证管理、各种教学业务引擎、各种教学应用服器、教学资源管理、数据统计和分析功能等。这一层使用虚拟化技术将各种实践环境需要的实验工具、业务与管理支持工具、教学管理工具等有机地整合在一起，对上层应用进行按需分配。
SaaS包含了向最终用户提供的各种服务以及各种调用方式。一种方式为般桌面应用，提供基础的环境和办公、实验工具。另外一种方式为通过教学平台，将课程资源和需要的专业实践环境进行打包整合来为用户服务。调用资源的终端可以为PC、笔记本电脑、各种云终端和平板电脑等。
项目总体架构从组成形式来看，主要如下图所示。
图5. 总体框架的组成形势
最底层是整个智慧教育云的基础架构，包含服务器、存储设备、网络安全安全等软硬件设备。在此基础上，有一个虚拟桌面云将基础软硬件设备整合为各种业务场景资源、计算存储、存储资源和网络资源等。根据生产实践型教学体系，将企业真实案例等资源分解整合为生产实践型教学资源库，并通过虚拟桌面云来提供虚拟化实训环境。通过教学云平台，对教学资源、实训环境进行统一管理，组织实施教学过程、教学活动。通过教学资源库与教学云平台的融合，提供各种应用场景，以开展教学模式创新、实训验室建设、在线考试以及其他各种应用。
数据科学与大数据技术实验室研究设计出从教学空间、硬件设备到软件环境全方位的实验室环境，并结合企业教育的教学经验，挖掘众多企业在大数据各领域的先进技术与资源，联合开发大数据技术系列课程体系，从专业技术课程到实验实训课程，并将真实商业化案例融入教学过程中，致力于帮助高校培养大数据领域的高级复合型创新人才，并提供众多行业真实最新的案例项目、算法等资源，提高学校在科研方面的技术水平，助力学校进入大数据专业人才培养新时代。
实验室主要由五部分内容构成，分别是：
?大数据实验室硬件环境建设
?大数据实验室软件环境建设
?大数据专业课程体系内容建设
?大数据行业项目案例课程建设
?配套综合性增值服务
为学校在大数据人才培养、科学研究、考试培训等方面提供一体化的支持，并可以辐射其他专业，培养大数据新兴综合性人才，将学院打造成为具有特色的
大数据人才培养的先锋院校。
图6. 实验室的主要构成
2. 虚拟桌面云
虚拟桌面云是采用全球领先的服务器化、用户桌面虚拟化、云存储、云安全、云管理技术，自主研发的一项计算应用实例。虚拟桌面利用云计算技术，在高校数据中心内搭建一个服务器集群，通过创建多个虚拟机来提供远程虚拟桌面；以“虚机机”和“虚拟桌面”的形式向用户提供所需的计算、存储和应用程序等个性化内容。用户不再需要使传统PC终端，而是基于多种精简且便捷的云终端设备通过网络访问远程虚拟桌面的形式获得属于自己计算与存储能力、个性化的应用与数据内容，实现与PC一致的使用体验。
虚拟桌面云解决了传统PC构架下，数据分散、安全性低、部署复杂、维护工作量大、难于管理、能耗巨大、资源浪费等问题，实现了数据高安全性、用户高便利性、系统易管理性、桌面高可用性与综合成本最低化等特征。
图7. 虚拟云桌面
用户终端相连的U盘等所有外设备，都必须经过严格的控制与认证管理盘
xxxx大数据实验室 建设方案 1
目录 1建设目标 (3) 2配置方案 (3) 2.1已有资源 (3) 2.2扩容资源需求 (4) 2.3物理服务器扩容配置 (4) 2.4磁盘阵列扩容配置 (5) 2.5FC SAN网络扩容配置 (6) 2.6IP网络扩容配置 (6) 2.7扩容配置清单 (7) 3部署方案 (8) 3.1系统架构 (8) 3.2IP网络部署 (9) 3.3Hadoop集群部署 (9) 3.4部署计划 (10) 4Hadoop教学培训方案 (11) 4.1Hadoop教学优势 (11) 4.2课程以及考核安排 (11) 4.2.1相关教材 (11) 4.2.2课程大纲 (13) 4.2.3考核安排 (16) 4.2.4证书认证 (16)
1建设目标 xxxx软件学院已经建设了云实验平台，在该平台上实现了编程教学实验、数据库实验以及网盘应用系统；该平台技术上采用服务器虚拟化技术通过云管理平台实现了实验环境的快速部署；虚拟化平台基于磁盘阵列集中存储，采用FC SAN 网络架构。 现规划建设一个Hadoop 大数据实验室，使用已经建设好的平台，通过扩展资源池的方式部署，利用现有服务器虚拟化平台虚拟出大量虚拟机用于构建Hadoop 集群，主要用于学生实验以及科研用途。假定建设目标和规模如下：建设目标：建设成校级实验室，满足学生做大数据实验和教师大数据科研。 建设规模：系统支持100个左右的虚机同时运行，性能满足学生大数据实验需求。 扩展性需求：系统需具备良好扩展能力，可以方便扩展系统容量和性能，以满足更多实验和科研需求。 2配置方案 本章节对构建大数据实验室所需要的硬件资源进行配置，从大数据实验资源需求出发来分析构建大数据实验室需要对现有物理服务器、磁盘阵列、FC交换机、IP网络交换机的资源做哪些扩容。 2.1 已有资源 云实验平台已经部署了10多台2路物理服务器，通过1台FC交换机与1台磁盘阵列连接；现有物理计算资源可以支撑同时运行200个虚机（1个LCPU、
大数据一体化教学实训平台简介 大数据一体化教学实训平台是由泰迪科技自主研发，旨在为高校大数据相关专业提供一体化教学实训环境及课程资源。 本平台共包含9大模块：云资源管理平台、教学管理平台、大数据分析平台、Python 数据挖掘建模平台、R语言数据挖掘建模平台、大数据开发实训平台、Python编程实训平台、R语言编程实训平台、大数据整合平台。以教学管理平台、云资源管理平台为支撑，以优质的课程、项目案例资源为核心，并以自主研发的数据挖掘建模平台为实训工具，把课程、软件、硬件内容统一结合，满足高校大数据教学与实训的一体化平台。 大数据一体化教学实训平台架构（总）
大数据一体化教学实训平台架构（理学方向） 大数据一体化教学实训平台架构（工学方向）
大数据一体化教学实训平台特点 ?B/S架构：可直接通过客户机的浏览器对服务器端的一体化教学实训平台进行访问。?模块丰富：提供软硬件管理、教学管理、实验实训等系列模块，满足不同的教学与实训场景使用。 ?拓展性强：教师自主开设新课程、添加各种课程资源与活动，满足用户的个性化需求。?单点登录：用户只需一次登录即可访问所有的教学与实训平台，解决了登录繁琐、操作不便等问题。 ?资源一体：提供教学大纲、教学视频、教学PPT、课后习题、实验指导书、实验数据、实验代码、实验环境等一系列的教学实训资源，全方位解决实际教学与实训过程中所遇到的问题。 ?教学一体：分别提供“教”与“学”的软件环境，教学与实训模块深度融合，真正实现一体化。 ?软硬件一体：硬件环境采用云柜的方式进行搭建，内部集成机柜、服务器（部署一体化教学实训平台）、供配电、UPS、变频空调、应急通风等，整个云柜架构和谐统一、方便安装与维护。 云资源管理平台简介 云资源管理平台主要对实验室云虚拟化资源进行管理及维护，负责对实验室所有软件系统进行管理与监控，将云存储资源、服务器资源和网络资源整合，然后通过虚拟化搭建私有云平台，在私有云平台上搭建教学管理平台与一系列的大数据实训平台。 云资源管理平台功能及特点 ●支持系统资源实时统计和监控 ●支持云主机批量操作和管理 ●支持云主机模板创建与分配 ●支持操作日志查看和可视化分析 ●支持物理服务器集群管理 ●支持基础网络与私有网络 ●云硬盘可独立挂于云主机 ●平台系统高可用，容错性强 ●云主机性能卓越，媲美物理机
云计算大数据实验室建设解决方案 云计算大数据实验室建设解决方案
目录 概述 (4) 第一章、云计算与大数据的发展趋势 (4) 1.1.云计算与大数据 (4) 1.2.云计算与大数据的关系 (5) 1.2.1.当大数据遭遇云计算 (5) 1.2.2.云计算环境作为大数据处理平台 (6) 1.3.发展趋势：大数据逐步“云”化 (7) 第二章、云计算大数据人才现状分析 (9) 2.1.我国云计算大数据人才紧缺 (9) 2.2.云计算大数据人才培养情况 (9) 2.3.云计算大数据人才培养面临的问题 (10) 2.3.1.高职实验室设备落后，教学资源无法合理分配 (11) 2.3.2.教学资源分散，共享程度低 (11) 2.3.3.对云计算大数据技术认识不够，无法有效运用 (11) 第三章、云计算大数据人才培养需求分析 (12) 3.1.云计算大数据岗位需求 (12) 3.2.云计算大数据人才培养策略 (13) 3.2.1.根据就业前景,加大人才培养力度 (13) 3.2.2.德才兼修,开拓新型教学方式 (13) 3.2.3.选择以工作过程为向导的教材 (13) 3.3.云计算大数据带给高职实验室建设的前景 (14) 3.3.1.建立统一信息平台来管理海量教学资源 (14) 3.3.2.云计算降低维护和运营成本 (14) 3.3.3.整合教学资源，加强资源共享，提高教学质量 (15) 3.3.4.促进教师和学生的信息交互，进一步促进教学相长 (15) 3.3.5.借助云计算大数据技术可以提升科研实力 (15) 第四章、云计算大数据实验室建设原则 (16) 4.1.方便扩展 (16)
大数据实训室 招标编号：JZDFGZ-GP-20192303 采购文件 采购单位：贵州电子商务职业技术学院 采购代理机构：北京建智达工程管理股份有限公司日期：2019年9月
投标供应商资格要求 （一）一般资格要求： ①具有独立承担民事责任的能力：具备有效的统一信用社会代码营业执照； ②具有良好的商业信誉和健全的财务会计制度：提供2018年度经会计师事务所出具的审计报告，包括“三表一注”(资产负债表、利润表、现金流量表及其附注),新成立不满一年的企业，应提供开户银行出具的资信证明； ③具有履行合同所必须的设备和专业技术能力：具备履行合同所必需的证明材料或承诺； ④具有依法缴纳税收和社会保障资金的良好记录：提供2019年1月至今任意连续3个月依法缴纳税收和社会保障资金的付款凭证； ⑤参加本次政府采购活动前三年内，在经营活动中没有违法违规记录：提供《参加政府采购活动前三年内在经营活动中没有重大违法记录的书面声明》； ⑥法律、行政法规规定的其他条件：/ （二）本项目所需特殊行业资质或要求：/ （三）本项目不接受联合体投标,不得转包与分包。
采购清单、技术参数及商务要求第一节采购清单及技术参数 3/30
2、包转发率：整机333Mpps 3、2个Slot扩展槽 4、支持1G/10G/40G端口聚合，支持动态聚合、跨设备聚合 5、支持可插拔双电源、可插拔双风扇结构设计 6、支持基于端口、IP子网、协议、MAC、Voice的VLAN 7、支持SDN控制方式;支持网络拓扑的自动发现 8、对交换机的自动配置、自动软件升级; 9、支持多租户环境及租户之间的访问控制机制; 10、支持L3虚拟和物理服务的插入和串连，并可应用于特定的租户或者多租户共享； 11、支持IPv4/IPv6，支持BGP、BGP4+，支持ISIS、ISISv6，支持VRRP、VRRPv3 12、支持组播VLAN、PIM SM、PIM DM、MSDP，支持双向PIM 13、支持MPLS转发、LSP、LDP、L2VPN、L3VPN、VPLS、MCE 14、支持用户分级管理和口令保护，支持基于端口的认证和MAC认证，支持AAA认证、Radius认证、HWTACACS、SSH2.0、Portal认证、PKI、HTTPs、EAD等安全认证 4接入交换机1、48*10/100/1000TX+4*SFP 2、交换容量：336Gbps，包转发率：87Mpps 3、网络协议：二层环网协议：支持STP/RSTP/MSTP协议，支持STP Root Protection，支持RRPP；路 4台 4/30
高校大数据实验室建设方案 一、建设目标 章鱼大数据实验室的建设目的是作为大数据教学实验及科研平台，包括数据挖掘与大数据分析平台。实验室的设计全面落实“产、学、研、用”一体化的思想和模式，从教学、实践、科研和使用多方面注重专业人才和特色人才的培养。 利用虚拟化教学资源，搭建教学系统和集群平台，将理论学习、实践教学和大数据项目实战融为一体，由难而易、循序渐进，逐步提升学生的学习技能和实践水平，提高“学”的质量和成效。利用大数据分析主流软件框架，搭建与业界主要用户一致的实验与科研环境，将理论课程中学到的数据挖掘算法运用到实际的数据分析过程中，提升学生的动手操作和项目实践能力。使得学生所学与企业项目人才需求无缝衔接，与教师的科研工作紧密配合。 通过专业的大数据分析计算资源搭建的开放式大数据分析平台，可以充分的融合教师的科研需求，教师可以在开放的平台环境下开展大数据科研工作，提升教师的科研创新能力，充分提高“研”的成效。 二、产品优势
交互式学习模式 提供体系完整、简单易用的在线教学课堂；以基础知识学习、在线视频教学、习题、线上测试、评估等为主线的一系列方法，确保学生在短时间内掌握大数据虚拟仿真实验、分析部署技能。 真机实验训练 实验训练体系设计成各模块相对独立的形式，各模块交互式的实验任务、大数据实验机、实际项目上机操作，通过多方位的训练，最终灵活的、渐进式地掌握大数据生态体系。 大数据实战及案例分析 提供实验数据，包括网站流量数据、租房及二手房数据、电商商品交易数据、搜索引擎访问等多种行业数据，数据内容超过20TB，同时周期更新数据内容。 充分支撑科研工作
提供行业数据及案例解剖用于基础研究，提供数据分析方案及流程，提供数据更新接口，可以对行业数据进行分析统计，按需求生成数据报表，为科研工作提供数据支撑。例如某地区经济数据分析、股市数据分析、全国地震数据分析、食品价格行业数据分析等。 三、建设规模 按照60台大数据实验机容量进行同时在线使用进行建设为基础，整体系统提供快速扩容升级服务。 四、硬件配置 采用十六台高性能品牌服务器作为大数据节点进行建设，采用企业级全千兆三层交换机进行网络数据交换。 每台节点的配置如下：
最新版 大数据实训室建设项目 解决方案
目录 1. 大数据实训室建设背景 (4) 1.1 中国大数据产业空间高速增长 (4) 1.2 大数据人才紧缺 (5) 1.3 教学中存在的问题 (7) 1.4 大数据人才就业方向 (8) 2. H3C大数据解决方案简介 (14) 3. H3C大数据实训室建设目标 (18) 4. H3C大数据实训室总体设计 (19) 4.1 培养方向及目标 (19) 4.2 实训室方案设计 (20) 4.3 大数据实训室建设思路 (22) 4.4 实验平台建设原则 (23) 4.5 实验平台教材大纲 (26)
4.6 实训室课程目标 (28) 4.7 学员能力要求 (28) 5. 实训室室的相关服务 (29) 5.1 **培训中心介绍 (29) 5.2 师资培训 (31) 5.3 新技术、新应用定期交流 (33) 5.4 实验室设备维护服务 (34)
1.大数据实训室建设背景 1.1中国大数据产业空间高速增长 2015 年 9 月 5 日，国务院印发《促进大数据发展行动纲要》。《纲要》首次从国家层面认定数据是国家基础性战略资源，将大数据行业定位到国家战略层面，大数据成为推动经济转型发展的新动力，成为重塑国家竞争优势的新机遇，成为提升政府治理能力的新途径。 大数据发展，打破信息孤岛是关键。《纲要》指出，要加强顶层设计和统筹规划，形成公共数据资源合理适度开放共享的法规制度和政策体系。2018 年底前，建成国家政府数据统一开放平台。2020年底前，逐步实现信用、交通、医疗等领域的政府数据集向社会开放。目前，信息孤岛问题依然是阻碍大数据前行的关键要素。目前，60%的主管部门认为数据分布和共享存在难题，这源于不同部门间数据开放标准的不统一，以及在早期建设中各自独立进行和外包导致数据格式标准等的不同。因而建立数据统一平台的前提就是打破信息孤岛，
物联网大数据分析实验室建设方案 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。章鱼大数据为积极应对“互联网+”和大数据时代的机遇和挑战，适应经济社会发展与改革要求，开发建设物联网大数据平台。 物联网大数据平台打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、物联网行业现状 数字传感器的大量应用及移动设备的大面积普及，才会导致全球数字信息总量的极速增长。根据工信部的统计结果，中国物联网产业规模在2011年已经超过2300亿元，虽然和期望的“万亿规模产业”还有一定距离，但已经不可小视。其中传感器设备市场规模超过900亿元，RFID产业规模190亿元，M2M终端数量也已超过2100万个。另一个方面，我国的物联网企业也呈现出聚集效应，例如北京中关村
已有物联网相关企业600余家，无锡国家示范区有608家，重庆、西安等城市也有近300家。从区域发展来看，形成了环渤海、长三角、珠三角等核心区以及中西部地区的特色产业集群。 在2009年以前，可能没有哪家企业说自己是物联网企业。一夜之间产生的上千家物联网企业，他们的核心能力、产品或服务价值定位、目标客户和盈利模式都是如何呢？首先来看这些物联网企业从哪里来。现在的物联网企业主要分为三类，第一类是以前的公用企业转型，最典型的是电信运营商，他们有自己的基础设施，有客户资源，因此自然转型到物联网行业。除了电信运营商，一些交通基础设施运营商、甚至是气象设施运营商，也都转型为物联网企业。第二类是传统IT企业，例如华为、神州数码，以及众多上市公司等。这一类公司也是在传统的优势积累基础上开拓物联网新业务。第三类是一些制造企业，包括传感设备制造企业，网络核心设备制造企业，还包括如家电等一批传统制造企业。这一类企业不能说没有大企业，但是绝大多数都是中小型企业。这些企业的核心能力主要体现在三个方面，第一是传感器和智能仪表，第二是嵌入式系统和智能装备，第三是软件与集成服务。 再来看我国物联网应用的领域。通过对多个部委和地区的物联网专项进行汇总，下图列出了目前提到最多，也是应用最成熟的八个领域。但是换个角度再看，不管是工业控制、供应链管理、精准农业，还是建筑自动化、远程抄表、ETC，其实都并不是新的技术领域，而是在物联网这个大概念下重新包装后再次引起了人们的兴趣。总的来
xx大学 大数据与信息工程学院 大数据实验教学平台建设方案 XX大数据科技股份有限公司 XXXX年11月
目录 1 概述 (2) 1.1 背景 (2) 1.2 建设目标 (2) 2 科研教学大数据平台概要 (3) 2.1 总体架构设计 (3) 2.2 大数据教学科研平台配套资源 (4) 2.2.1 内容充实的课程体系 (4) 2.2.2 多元化的大数据资源包 (5) 2.3 科研教学大数据平台优势 (7) 2.3.1 安全可靠的实验环境，大幅度提升大数据技能 (7) 2.3.2 桌面虚拟化平台架构 (8) 2.3.3 增加高校硬实力和影响力 (8) 3 科研教学大数据平台详细设计 (9) 3.1 桌面虚拟化 (9) 3.1.1 平台整体架构 (9) 3.1.2 平台组件解析 (10) 3.2 大数据实验一体机 (10) 3.2.1 架构设计 (11) 3.2.2 大数据资源池建设 (12) 3.2.3 大数据教学基础平台 (17) 3.3 教学云盘 (21) 3.3.1 网盘系统设计 (21) 3.3.2 文件同步管理系统 (24) 3.3.3 文件分析系统 (27) 3.3.4 XX网盘特点 (28) 3.4 深度学习 (30) 3.4.1 深度学习一体机 (31) 3.4.2 准系统 (33) 3.4.3 GPU (34)
1概述 1.1背景 全球在2010年正式进入ZB 时代，根据IDC监测，人类自有史以来所有数据量大约每18 个月翻一番，意味着人类在最近18个月产生的数据量相当于之前产生的全部数据量，预计到2020 年，全球将总共拥有35ZB的数据量，是2010年的近30倍。大数据的需求趋势越来越多。大数据科学研究也在不断壮大，美国哥伦比亚大学和纽约大学、澳大利亚悉尼科技大学、日本名古屋大学、韩国釜山国立大学等纷纷成立大数据科学研究机构；美国加州大学伯克利分校和伊利诺伊大学香槟分校、英国邓迪大学、中国香港中文大学等一大批高校开设了大数据科学课程。 目前全球都面临大数据人才荒，在未来5-10年，我国大数据市场规模年均增速将超过30%，而大数据人才缺口将突破150万，目前大数据人才平均月薪达1.5万，在BAT发布的招聘职位中，大数据人才超过60%，因此在高校开发云计算大数据科研平台，建立云计算大数据科研实验室、创设云计算大数据教学培训，实现高校教学科研一体化流程，将为高校增加学生就业机会和薪资水平，逐步培养当今互联网时代IT行业的大数据人才起到至关重要的作用。 1.2建设目标 xx大学大数据与信息工程学院着眼于未来，着手从全球的技术重点难点-大数据的科研和教学出发，拟打造中国大数据教学科研的标杆，建设新一代的大数据研究教学基地，建立一套具有高可靠、可在线弹性伸缩，提供数据内在关系和价值的大数据科研教学平台，教学平台具体建设目标如下： 1.建设桌面虚拟化平台，解决普通PC电脑在教学过程中产生的维护难、易 感染病毒、数据易丢失等问题。 2.建立大数据实验教学一体化平台，供高校师生进行日常的大数据教学以 及上机实验等活动。
易霖博 云计算大数据 实验室建设解决方案
北京易霖博信息技术有限公司 2016年5月
目录
概述 云计算大数据技术是当今信息技术发展的一个主要方向，云计算大数据技术一经提出就得到人们的追捧，其应用领域也得到了快速的发展，已经在商业、政府、金融、教育等领域得到广泛应用。我国高职院校需要建设专业的云计算大数据实验室，尤其是要满足当下学生需求的实训系统，是一个比较重要和紧迫的工作。根据云计算与大数据行业对人才培养的需要，易霖博推出了一套面向高职院校的云计算大数据实验室建设解决方案，实验内容的设计来源于社会需求调研以及云计算业界专业人士的建议，实验内容涵盖的技术知识点能够与目前云计算大数据人才的技能需求贴合，实验设计以真实的工作场景为背景，培养学生的综合能力，增强学生对真实工作环境的体验感，适应社会人才发展的需要。 第一章、云计算与大数据的发展趋势 1.1.云计算与大数据 云计算和大数据是一个硬币的两面，云计算是大数据的基础，而大数据是云计算的一个杀手级应用，云计算是大数据成长的驱动力，而另一方面，由于数据越来越多、越来越复杂、越来越实时，这就更加需要云计算去处理，所以二者之间是相辅相成的。 30年前，存储1也就是约1000数据的成本大约是16亿美元，如今存储到云上只需不到100美元。但存储下来的数据，如果不以云计算进行挖掘和分析，就只是僵死的数据，没有太大价值。 目前，云计算已经普及并成为行业主流技术，其实质是在计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背景下被催生出来的一种基础架构和商业模式。个人用户将文档、照片、视频、游戏存档记录上传至“云”中永久保存，企业客户根据自身需求，可以搭建自己的“私有云”，或托管、或租用“公有云”上的资源与服务，这些都已不是新鲜事。可以说，云是一棵挂满了大数据的苹果树。 大数据的出现，正在引发全球范围内深刻的技术与商业变革。在技术上，大数据使从数据当中提取信息的常规方式发生了变化。在技术领域，以往更多是依靠模型的方法，现在我们可以借用规模庞大的数据，用基于统计的方法，有望使语音识别、机器翻译这些技
XXXXXX大数据实验平台 咨询技术服务协议 甲方：XXXXXX集团有限责任公司信息中心 乙方：XXXXXX技术有限公司 为保护甲乙双方的合法权益, 甲乙双方根据《中华人民共和国合同法》的有关规定，经协商, 就XXXXXX信息中心针对XX大数据实验平台技术服务事宜，一致同意签订本协议，共同遵守。 1.合作事宜 1.1 按照甲方要求，在XXXXXX信息中心现场进行技术试验2-3次，每次 一周左右，具体时间双方协商。 1.2 技术支持有效期限为2014年10月8日至2014年12月15日,共两 个月,按照实际需求提供技术支持。 1.3 技术服务名称为：XXXXXX大数据实验平台咨询技术服务 2.甲方的责任和义务 2.1 甲方负责确定每次准确的服务时间、及客户方的联系人； 2.2 甲方应协调客户和乙方之间的沟通交流，以便服务按时、顺利的进行； 2.3 甲方按合同规定的时间支付乙方服务费。 3.乙方的责任和义务 3.1 乙方根据甲方要求提供符合技术资质的工程师； 3.2 乙方工程人员必须遵守客户的规章制度； 3.3 乙方工程人员的工作必须服从客户的统一安排； 3.4 乙方承担服务工程师意外事故保险。 3.5 乙方应保证其工程人员不向任何第三方透露、交流或泄漏有关资料； 3.6 乙方应尽可能确保整个设备顺利的完成改造。 4. 服务的内容及时间、地点 4.1 服务内容： 从涉及的专业领域入手，结合XXXXXX中心数据库，参考附件:XXXXXX 大数据平台实验需求列表提出相应大数据平台搭建,部署优化安装方案,并基于甲方提供服务器资源提供实验样例进行先关实验并输出相应实验性能结果； 服务地点：XXXXXX信息中心 5. 服务费及支付方式
大数据实验室建设方案 【篇一：云计算实验室建设方案】 高校云计算实验室 2014年3月 建设方案 第一部分、关于云计算的相关知识 一、云计算简介 云计算（cloud computing）是基于互联网的相关服务的增加、使 用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚 拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往 用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指it基础设施的交付和使用模式，指通过网络以按需、 易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是it 和软件、互联网相关，也可是其他服务。它意味着计算能力也可作 为一种商品通过互联网进行流通。 在过去几年里，云计算和虚拟化的概念获得了巨大的发展动力，并 且成为信息技术中的流行词。许多企业开始实现这些新技术，期望 通过改进机器的利用率来降低成本，减少管理时间和基础设施成本。云计算是能够使用户在 internet 上使用应用程序的一种环境，比如 存储和保护数据，同时又能够提供服务。 继个人计算机变革、互联网变革之后，云计算被看作第三次it浪潮，是中国战略性新兴产业的重要组成部分。它将带来生活、生产方式 和商业模式的根本性改变，云计算将成为当前全社会关注的热点。 一方面，由于云计算正处在高速发展时期，其相关技术也处在日新 月异，不断推陈出新的过程中，因此需要技术人员不断更新知识与 技能；另一方面，云计算可以分为iaas、paas、saas等多个层次，其相关技术涉及虚拟化、集群管理、分布式计算、web服务和大数 据处理等多个领域，如何使教学与实验工作能涵盖众多层次与领域，成为云计算人才培养中的重要问题。 二、云计算的五大优点 （1）以服务为基础 （2）可扩展性、弹性 （3）共享
重庆交通大学信息科学与工程学院 实验报告 班级：曙光1701班 姓名学号： 实验项目名称：实验一, Hadoop平台搭建与维护实验项目性质：验证性 实验所属课程：大数据平台技术 实验室(中心)：语音楼11楼第三实验室 指导教师： 实验完成时间：2019 年9 月22 日
一、实验概述： 【实验目的】 1.掌握Linux命令行操作及JA V A环境变量设计方法； 2.掌握Linux操作系统安装或虚拟机安装配置方法； 3.掌握Hadoop平台单机模式、伪分布式模式的安装配置方法； 4.掌握HDFS分布式文件系统的文件读写命令行使用方法； 5.掌握MapReduce分布式程序的命令行示例程序使用方法。 【实验要求】 1.保存程序，并自行存档； 2.最终的程序都必须经过测试，验证是正确的； 3.认真记录实验过程及结果，回答实验报告中的问题。 【实施环境】（使用的材料、设备、软件） Linux操作系统环境，VirtualBox虚拟机，Java开发环境，Hadoop/HBase/Spark等程序。 二、实验内容 第1题. Ubuntu操作系统安装。以双系统或者虚拟机方式安装Ubuntu操作系统。 安装双系统： 安装前准备工作 1.压缩磁盘，新建分区 - 桌面电脑图标上右键 --> 管理 --> 存储 --> 磁盘管理 图1.
- 磁盘0 --> OS(C:)上右键压缩卷--> 选择合适大小，压缩完成后就退出，保持未分区状态，不要格式化 图2 2.关闭快速启动（也许不管也可以） 图3
3.制作UEFI格式U盘启动盘 将ISO镜像中的所有文件复制到一个干净的U盘中。 4.关闭Secure Boot (1)进入BIOS：重启电脑，在MI出现后马上按F2（可以多按几次，也可以在还是黑屏 时就开始按） (2)Security—>Set Supervisor Password(必须设置，否则下面的Secure Boot无法 更改) 图4 (3)Security—>Secure Boot—>更改为Disabled 图5
高校实验室云计算大数据建设解决方案
目录 概述 (4) 第一章、云计算与大数据的发展趋势 (4) 1.1.云计算与大数据 (4) 1.2.云计算与大数据的关系 (5) 1.2.1.当大数据遭遇云计算 (5) 1.2.2.云计算环境作为大数据处理平台 (6) 1.3.发展趋势：大数据逐步“云”化 (7) 第二章、云计算大数据人才现状分析 (9) 2.1.我国云计算大数据人才紧缺 (9) 2.2.云计算大数据人才培养情况 (9) 2.3.云计算大数据人才培养面临的问题 (10) 2.3.1.高职实验室设备落后，教学资源无法合理分配 (11) 2.3.2.教学资源分散，共享程度低 (11) 2.3.3.对云计算大数据技术认识不够，无法有效运用 (11) 第三章、云计算大数据人才培养需求分析 (12) 3.1.云计算大数据岗位需求 (12) 3.2.云计算大数据人才培养策略 (13) 3.2.1.根据就业前景,加大人才培养力度 (13) 3.2.2.德才兼修,开拓新型教学方式 (13) 3.2.3.选择以工作过程为向导的教材 (13) 3.3.云计算大数据带给高职实验室建设的前景 (14) 3.3.1.建立统一信息平台来管理海量教学资源 (14) 3.3.2.云计算降低维护和运营成本 (14) 3.3.3.整合教学资源，加强资源共享，提高教学质量 (15) 3.3.4.促进教师和学生的信息交互，进一步促进教学相长 (15) 3.3.5.借助云计算大数据技术可以提升科研实力 (15) 第四章、云计算大数据实验室建设原则 (16) 4.1.方便扩展 (16)
4.2.自身安全 (16) 4.3.业务高可用 (16) 4.4.统一管理与自动化 (17) 4.5.开放接口 (17) 4.6.丰富、清晰的培训教材 (17) 4.7.师资培训新技术交流 (17) 4.8.技术服务保障 (18) 第五章、云计算大数据实验室建设目标 (19) 5.1.建设目标 (19) 5.1.1.培养学生云计算大数据职业技能 (19) 5.1.2.提供独立的用户实验环境 (19) 5.1.3.提高系统资源的利用率 (19) 5.1.4.系统具有良好扩展性 (20) 5.2.建设内容 (20) 5.2.1.云计算大数据实验平台部署 (20) 5.2.2.云计算大数据实验环境学习及搭建 (20) 第六章、云计算大数据实验室解决方案 (22) 6.1.云计算大数据实验室整体架构 (22) 6.2.云计算大数据实验室物理布局 (23) 6.3.云计算大数据实验平台部署 (24) 6.3.1.实验平台基础设施 (25) 6.4.云计算大数据实验环境学习及搭建 (28) 6.4.1.云计算基本架构安装和部署 (28) 6.4.2.云计算中间件环境部署 (29) 6.4.3.基于分布式文件系统的大数据部署、挖掘和分析 (30) 6.4.4.云计算应用层安装及使用 (31) 6.4.5.云安全加固和防护 (31) 第七章、云计算大数据实验室课程体系 (33) 第八章、云计算大数据实验室方案优势 (35) 8.1.Web 形式开展实验，实现无所不在的网络访问 (35)
大数据实训室建设项目 解决方案
目录 1. 大数据实训室建设背景 (4) 1.1 中国大数据产业空间高速增长 (4) 1.2 大数据人才紧缺 (5) 1.3 教学中存在的问题 (7) 1.4 大数据人才就业方向 (8) 2. H3C大数据解决方案简介 (14) 3. H3C大数据实训室建设目标 (18) 4. H3C大数据实训室总体设计 (19) 4.1 培养方向及目标 (19) 4.2 实训室方案设计 (20) 4.3 大数据实训室建设思路 (22) 4.4 实验平台建设原则 (23) 4.5 实验平台教材大纲 (26) 4.6 实训室课程目标 (28)
4.7 学员能力要求 (28) 5. 实训室室的相关服务 (29) 5.1 **培训中心介绍 (29) 5.2 师资培训 (31) 5.3 新技术、新应用定期交流 (33) 5.4 实验室设备维护服务 (34)
1.大数据实训室建设背景 1.1中国大数据产业空间高速增长 2015 年 9 月 5 日，国务院印发《促进大数据发展行动纲要》。《纲要》首次从国家层面认定数据是国家基础性战略资源，将大数据行业定位到国家战略层面，大数据成为推动经济转型发展的新动力，成为重塑国家竞争优势的新机遇，成为提升政府治理能力的新途径。 大数据发展，打破信息孤岛是关键。《纲要》指出，要加强顶层设计和统筹规划，形成公共数据资源合理适度开放共享的法规制度和政策体系。2018 年底前，建成国家政府数据统一开放平台。2020年底前，逐步实现信用、交通、医疗等领域的政府数据集向社会开放。目前，信息孤岛问题依然是阻碍大数据前行的关键要素。目前，60%的主管部门认为数据分布和共享存在难题，这源于不同部门间数据开放标准的不统一，以及在早期建设中各自独立进行和外包导致数据格式标准等的不同。因而建立数据统一平台的前提就是打破信息孤岛，实现数据共享，这对于行业发展至关重要。
大数据教育平台初步方案 项目背景与目标 现在高校和各个教育机构在进行大数据课程教育时普遍面临着没有实验环境、没有大数据项目所需真实的实验数据、没有切合真实项目的实验教材、没有配套的教学方案的问题。 我们提供的大数据教育平台为各高校提供大数据教育的实验平台服务。平台主要提供实验环境，真实项目实验数据，大数据教学实验手册、配套教学ppt、实验环境相关下载。平台注册使用并非采用互联网的开发注册方式，而是采用与高校合作，高校通过服务的购买，分配给老师账号。老师通过实际的课程安排，分配给学生账号和资源。平台根据高校使用平台情况通过线下方式与高校结算服务费用。 平台可用于两种模式，云平台模式和一体机模式。云平台模式通过互联网提供虚拟化服务，用过分配的账号进行使用。一体机用于学校内部自有网络，一体机模式的服务器在联网条件下可以下载或更新云平台中的更新内容。 产品功能 1. 账号管理 1.1平台管理员账号管理 可以设置修改平台管理员账号密码。 1.2学校账号分配 平台在与高校签订协议后，由平台发放给学校一个管理账号。此账号具有账号管理功能。可以创建老师账号。可以编辑学校相关信息。
1.3教师账号分配 学校管理账号，新建老师账号并编辑，包括，登录名、姓名、教师编号、性别、院校等信息。 1.4新建学生账号 教师账号，新建班级、添加学生。新建学生信息包括,登录名、姓名、学号、性别、专业、院校、班级。 1.5关闭班级 当关闭班级将回收班级下面所有试验资源。关闭前需提示警告。 1.6修改账号密码。 2. 资源管理 2.1 资源申请管理 云平台资源申请提供两种申请管理模式。 第一种，资源审核模式。老师提交申请后由校方管理账号进行审批。 第二种，默认审核模式，默认给老师50人（可配置）的配额上限，无需审核。并提供配额上限的数量的修改功能。 一体机，无需资源申请。需要设置老师资源配额上限。 2.2教师平台资源申请（云平台） 老师通过班级的课程安排情况，申请试验平台的使用时间和人数。申请由新建班级和学
基于应用型本科院校的大数据实验室建设探究 我国的互联网技术与计算机技术不断发展，目前互联网企业数量明显增多，大数据技术也由此产生。针对应用型本科院校的大数据实验室建立，很多高校都已经认识到该工作的必要性。对此本文将详细列举高校实验室的常见问题，在此基础之上探究大数据实验室的原理，并对其建设方案展开细致化的讨论。 标签：应用型本科院校；大数据实验室；建设研究 引言：随着应用型本科院校的办学理念明晰，以及根据现代社会发展所确立的教学目标，需要加强各个专业尤其是实验探究类的专业，对大数据实验室建立的需求，由此经过对高校原有的实验室进行调整与改进，才能建立更加优质的课程教学平台，给应用型人才培养创造有利条件。 一、建立大数据实验室的重要影响作用 目前一些高校结合社会时代发展的要求，已经申请了云计算以及大数据专业（如图1）。给展业就是结合电子商务、互联网等行业的发展，将结构化的数据分析处理目标落实，要求学生掌握大数据原理、技术以及应用，从不同的角度去掌握大数据分析的理论以及方法，不仅要开展课堂学习，还需要通过实验探究的形式巩固自己的专业基础。在大数据实验室中，学生能将理论以及分析方法有效性掌握，进而得出一些探究经验，逐步完善自己的专业水平，所以对于应用型本科院校来讲，建立大数据实验室具备重要影响意义。 二、现阶段应用型本科院校实验室的常见问题 （一）实验室设备缺失 高校的实验室普遍存在硬件配置不足的情况，所以在目前高校的环境之中，很难给学生提供大数据的实验基础环境条件，阻碍教学工作以及学生的实验探究活动。 （二）实验室教学标准不足 大数据组建的主要特征就是其更新速度较快，且实验操作存在难度较大的现象，由于实验步骤较为繁琐，则实验探究是不具备统一的教学标准规范的。 （三）实验环境条件 普通的本科院校一般都没能充分考虑大数据分布式软件的部署、配置、维护等方面的要求，由此实验环境很难保持下去。大数据分布式软件系统安装以及配置的难度相对较大，实验环境相对来讲较容易被破坏，且实验探究活动中的数据、教案、报告等基础性材料不足，则在开展实验探究环节中，很容易受到环境条件
实验室 https://www.doczj.com/doc/be18415640.html, 精品资源 极简方案智能助手 实训无忧大数据智能实验室解决方案
产品概述 锐捷大数据智能实验室立足于当前大数据时代背景，深入研究高校大数据教学实训场景，深挖教学需求，自主研发的一款集教学、实验、实训、培训、测评、学情分析于一体的大数据专业教学产品。产品融合业界前沿的云计算、大数据、人工智能技术，通过对接大数据产业人才需求和高校大数据人才培养方案，平台提供了大数据教学管理、实验实训环境、技能评测模块、岗位胜任力分析等功能。 平台采用云平台（Docker）模式和客户端（VM）模式相融合的方案，全面满足不同院校教学需求，同时，平台融合应用AI技术，显著提升大数据教学和学习效率。 建设目标 锐捷大数据智能实验室，全面落实“产、学、研、训”一体化的思想，从教学、实训和科研应用等方面，培养行业特色和专业的人才，并做出相应的科研成果。 具体目标是： 深度对接产业用人需求和高校人才培养目标，制定特色大数据人才培养方案； 提供一套一流的大数据教学、实训和科研的平台环境，帮助师生提高大数据学习和科研的效率和成果； 配备完善课程体系、丰富的课程资源、真实的行业案例以及海量的数据资源，帮助师生夯实的大数据技术的学习和应用； 借助大数据教学实训平台、配套资源、资深大数据讲师团队，加强对骨干教师、学科带头人的培养，以及科研、学术交流等合作工作，加快师资队伍的建设步伐； 对接企业大数据真实项目,企业导师导师驻校开展项目式大数据实训，帮助学生无缝掌握企业用人标准，提升就业竞争力； 人才岗位
业务应用 用户功能 特色功能 A.人工智能教学与实训 B.大数据教学与实训 C.云计算教学与实训 课程资源管理 | 学生管理 | 教师管理权限管理 | 账号管理 | 教学资源更新 管理员 教师 学生 排课管理 | 课程管理 | 测评管理实验管理 | 过程监控 | 实验报告管理实验督导 | 视频管理 | 学情分析课程自定义 AI实验帮手AI督导助手AI学情分析 实验进度看板与详情 实验进度智能提醒登录状态 | 实验进度 督导提醒 | 学习效率AI测评助手 试题配置 | 测评计划发布 | 成绩管理自动评分（客观题、程序题、实操题）测评训练 | 测评考试 | 成绩查询 学习成绩分析 | 学习行为分析综合能力分析 | 学生画像技能提升路径 课程学习 | 视频学习实验操作 | 实验报告测评考试 | 技能训练成绩跟踪 | 互动交流 教学服务 专业建设服务 实训周服务 系统功能
重庆交通大学信息科学与工程学院实验报告 班级：曙光1701班 姓名学号： 实验项目名称：分布式数据计算技术实验 实验项目性质：设计性 实验所属课程：大数据平台技术 实验室(中心)：语音楼11楼 指导教师： 实验完成时间：2019 年11 月14 日
一、实验概述： 【实验目的】 1.掌握Spark计算模型及其编程环境的安装部署和基本使用方法； 2.掌握Spark RDD模型体系下的常用Transformation和Action算子程序设计方法； 3.掌握Spark SQL和Spark Streaming的基本数据计算方法。 【实验要求】 1.保存程序，并自行存档； 2.最终的程序都必须经过测试，验证是正确的； 3.认真记录实验过程及结果，回答实验报告中的问题。 【实施环境】（使用的材料、设备、软件） Linux操作系统环境，VirtualBox虚拟机，Spark、Python/Scala程序设计环境等。二、实验内容 第1题Spark计算环境的安装与配置实验 【实验内容】 请结合课堂讲授内容，在实验电脑的Linux环境下安装Spark计算环境，具体包含以下内容，并对安装步骤进行详细描述和记录。 （1）安装Python 3.x和Pip3工具； （2）安装Spark计算模型； （3）安装Jupyter Notebook编程工具； （4）安装FindSpark工具包； （5）对pyspark的import情况进行示例。 【实验过程】（步骤、记录、数据、程序等） 请提供相应Shell操作命令或相应界面截图证明。 （1）安装Anaconda3.7软件包含Python3.7和jupyter Notebook； bash ~/下载/Anaconda3-2019.10-Linux-x86_64.sh 中间有两次选择，直接都选择yes:
龙源期刊网 https://www.doczj.com/doc/be18415640.html, 大数据技术实验室建设探索与研究 作者：王振华洪泓陈春丽 来源：《电脑知识与技术》2017年第12期 摘要：该文分析了大数据技术的前景与重要性，高校建设大数据实验室的意义和必要性。大数据技术是以数据存储、加工、分析为主，向企业或单位提供决策和预测。该文同时探讨了高校大数据技术课程体系，从科学研究和工程项目两个方向，分别设置相关课程。针对大数据技术实验室建设的几个关键要素进行分析，包括实验室基础平台建设，实验室队伍建设，数据资源建设等。 关键词：大数据；实验室建设；机器学习 信息技术与经济社会的快速发展促进了数据量的爆发性增长，数据已成为国家基础性战略资源。利用数据辅助决策、合理配置资源，将是未来企业创造价值的重要方法，也是未来新兴产业创建的重要依据。国家从战略的角度，已经开始重视大数据的发展。2015年8月31日，国务院印发了《促进大数据发展行动纲要》系统部署大数据发展工作。2016年12月18日工业和信息化部印发《大数据产业发展规划（2016-2020年）》。随着大数据技术的快速发展，对该类人才的培养也逐步成为高校信息技术教学的重要内容。 大数据技术数据分析处理是从数据中挖掘关键信息，达到辅助决策，提升运作效率的目标。大数据技术目前在各个行业和跨行业之间存在广泛的应用空间，其重要的应用之一，是预测性分析，从数据中挖掘出特点，建立模型，迭代验证，确立模型，最终实现预测。其中数据分析包括检查、清洗、转换和建模等方法，即根据特定目标，对数据进行收集与存储，数据筛选，算法分析与预测，提出有建设性的意见，进而辅助决策。 大数据技术包含两个方面，即数据存储技术和计算分析技术。存储技术包括非结构化数据收集架构，数据分布式存储集群，MPP架构的新型数据库集群等。大数据中常用的分析技术有：关联规则挖掘、聚类、遗传算法、自然语言处理、神经网络、优化、模式识别、预测模型等。 1大数据课程体系 目前，高校大数据相关专业没有统一的课程体系，大数据技术相关的课程比较多。根据其应用的侧重点不同，可将大数据技术课程体系分为科学研究型和工程项目型两类。具体课程体系见下表1。 2大数据技术实验室建设理念 在高校培养大数据人才，利用高等学校的多学科优势建立大数据技术实验室尤为必要，不仅可以服务于高校的教学和科研，通过大数据技术的科研与实验，使学生掌握主流的大数据存