大数据技术与应用专业人才培养方案
一、专业名称
大数据技术与应用
二、专业代码
610215
三、招生对象与学制
普通高中毕业生/高中同等学力学生，3年。
四、培养目标
本专业培养思想政治坚定、德技并修、全面发展，适应社会主义互联网事业发展需要，具有良好的业务综合素质和职业道德素质，具有较强的实战能力、心理抗压能力、团队协作能力、沟通能力和学习能力，掌握使用Java语言面向对象软件开发，动态网页开发与设计，数据库脚本编写，大数据采集，大数据离线计算，大数据实时计算，海量数据存储等知识和技术技能，面向互联网开发和企业网站开发领域的高素质劳动者和专业技术技能人才。
五、人才培养规格
由素质、知识、能力三个方面的要求组成。
1.素质
具有正确的世界观、人生观、价值观。坚决拥护中国共产党领导，树立中国特色社会主义共同理想，践行社会主义核心价值观，具有深厚的爱国情感、国家认同感、中华民族自豪感；崇尚宪法、遵守法律、遵规守纪；具有社会责任感和参与意识。
具有良好的职业道德和职业素养。崇德向善、诚实守信、爱岗敬业，具有精益求精的工匠精神；尊重劳动、热爱劳动，具有较强的实践能力；具有质量意识、绿色环保意识、安全意识、信息素养、创新精神；具有较强的集体意识和团队合作精神，能够进行有效的人际
沟通和协作，与社会、自然和谐共处；具有职业生涯规划意识。
具有良好的身心素质和人文素养。具有健康的体魄和心理、健全的人格，能够掌握基本运动知识和一两项运动技能；具有感受美、表现美、鉴赏美、创造美的能力，具有一定的审美和人文素养，能够形成一两项艺术特长或爱好；掌握一定的学习方法，具有良好的生活习惯、行为习惯和自我管理能力。
2.知识
（1）本专业必需的文化基础知识。
（2）掌握本专业需要的数学基础知识和其他自然学科知识。
（3）掌握Java语言语法和Java进行各种应用开发常用类库。
（4）掌握关系数据库基本知识和Mysql数据库的管理和应用知识。
（5）掌握软件工程基本知识，并能应用到软件项目开发过程中。
（6）掌握Linux操作系统的知识。
（7）使用SVN/GIT实现版本控制知识。
（8）掌握互联网级分布式应用开发的知识。
（9）掌握Hadoop，hive等离线数据计算处理框架。
（10）掌握redis，hbase相关的nosql数据库知识。
（11）掌握Spark中的Spark core、Spark Streaming、Spark Sql 等内容。
3.能力
(1)通用能力
通用能力包括口语和书面表达能力，解决实际问题的能力，终身学习能力，信息技术应用能力，独立思考、逻辑推理、信息加工能力等。
(2)专业技术技能
1)掌握使用HTML和CSS设计静态网页的能力。
2)掌握Java语言面向对象编程的能力。
3)掌握使用Linux操作系统的能力。
4)能够使用Mysql数据库实现关系数据库的增删改查等业务编
写。
5)掌握使用Hadoop和Hive处理海量离线数据的能力。
6)掌握使用Storm实现高频实时数据处理的能力。
7)能够使用Java编写商业级的互联网爬虫程序，进行有目标的
数据采集和处理工作。
8)能够使用Hadoop、Hive结合框架技术实现数据的清洗和计算。
9)能够使用Spark实现海量数据的内存计算。
10)掌握使用前端脚本语言和前端框架实现动态页面交互，网页
特效的能力。
11)掌握使用项目管理的知识应用到项目开发的能力。
12)掌握软件开发中版本控制能力。
13)相关专业文献资料的检索能力。
14)安全生产、项目管理的初步能力。
六、课程设置
（一）公共基础课程
1. 毛泽东思想与中国社会主义理论体系概论
主要讲授中国共产党把马克思主义基本原理与中国实际相结合的历史进程及马克思主义中国化的理论成果，帮助学生系统掌握毛泽东思想和中国特色社会主义理论体系，增强中国特色社会主义的道路自信、理论自信、制度自信，坚定在中国共产党领导下走中国特色社会主义道路的理想信念。
2. 思想道德修养与法律基础
通过了解现行法律法规基本内容，做到知法、懂法、守法、增强法律意识，树立法制观念，提高辨别是非的能力；培养学生优良的思
想品质、崇高的理想和正确的人生观，通过关于建设有中国特色社会主义理论与实践、世界观和人生观、职业道德、法律基础知识的教学，帮助学生树立正确的政治方向，树立正确的世界观、价值观、人生观，形成良好的思想政治素质和道德品质。
3.职业生涯规划
通过该课程使学生能树立正确的职业观念和职业理想，学会根据社会需要和自身特点进行职业生涯规划，并以此规范和调整自己的行为，为顺利就业、创业创造条件。使学生掌握职业生涯规划的基础知识和常用方法，树立正确的职业观、择业观、创业观以及人才观，形成职业生涯规划的能力。能够编制自己的职业生涯发展蓝图，增强提高职业素质和职业能力的自觉性，积极做好适应社会、融入社会和就业、创业的准备。
4. 形势与政策
主要以马克思列宁主义、毛泽东思想和中国特色社会主义理论体系为指导，针对学生关注的热点问题和思想特点，帮助学生认清国内外形势，全面准确地理解党的路线、方针和政策，积极投身中国特色社会主义建设的伟大事业。
5. 创业就业指导
本课程是通过讲授创新思维、创造技法和创办企业的基本知识及创业模拟实训，激发学生的创新创业激情，增强创新精神，树立创业意识，提高创新创业的能力，为将来的就业选择与职业发展奠定基础。
6. 大学英语
本课程的开设不仅要帮助学生打好语言基础，更要注重培养学生实际应用语言的技能，特别是用英语处理与未来职业相关业务的能力，为各专业学生的就业、创业服务。
7. 高等数学
通过本课程的学习，一方面使学生获得微积分的基本知识，使学生能够熟练地应用其中的思想方法分析处理一些实际问题。另一方面通过各个教学环节，培养学生抽象思维能力、逻辑思维能力、运算能力和分析问题解决问题的能力。教学中以分析和运算方法的掌握为重点，同时注重与专业相结合，使学生具备专业要求的数学基础，又便于提高进一步运用数学知识解决实际问题的能力。
8. 体育与健康
学生以身体练习为主要手段，通过合理的体育教学和科学的体育锻炼过程，达到了解体育与健康基本知识、掌握体育健身基本技能和养成终身体育意识的主要目的。在亲身体验中，形成乐观开朗、积极向上的生活态度和健康的生活方式，建立起自我、群体和社会责任感，提高运动欣赏能力，培养良好的体育道德和终身体育意识。
（二）专业课程
1.专业核心课
（1）计算机应用基础
通过本课程的学习，使学生学到必备的计算机基础知识和常见的计算机操作技能，尤其是办公自动化知识,如Word、Excel、PowerPoint等Office办公软件，通过理论与实践使学生掌握实现编写文档、表格、演示文稿等诸多功能。学生学习本课程还可以参加软考中信息处理技术员员的考试。使学生初步具有利用计算进行学习的能力，为学习其他课程服务，奠定终身学习的基础。通过学习提升学生的信息素养，使学生了解信息社会道德准则及信息安全的重要性，遵守相关法律法规，培养学生成为信息社会的合格公民。
（2）网站前端页面开发
本课程主要包含HTML常用标签和CSS的常用属性以及盒子、浮动、定位、CSS3动画等功能内容，学习通过div+css实现制作静态网页，将设计的网站效果图，使用PS工具进行切图制作静态网页。
培养学生熟练掌握的html开发工具，熟悉HTML5和css3的知识，能够使用div+css实现静态页面制作的能力。
（3）使用Java理解程序逻辑
本课程主要学习软件开发基本知识，Java语言中数据类型、变量、分支结构、循环结构、数组、类、方法和属性等基本概念。让学生熟悉开发软件的基础知识，并提升学生的逻辑思维能力。培养学生代码的编写能力和阅读代码的理解能力，使学生在后续工作中代码的使用编写更关注于产品的业务逻辑完善，避免出现语法错误。
（4）Linux服务器基础
学习Linux服务器的安装、系统结构、常用配置、Shell脚本编写、Linux下开发环境的搭建、Linux服务器维护的知识，通过本课程学习，学生可以在Linux下搭建Java开发环境、编写Shell脚本、对Linux服务器进行日常管理。
2.专业技能课
（1）MySQL数据库应用开发
本书结合企业实际开发的需要，重点介绍了MySQL的安装与配置，创建数据库、数据表、索引、以及对存放在数据库中的数据进行添加、删除、修改和查询操作。由于在实际的软件开发过程中针对数据库的操作有80%是集中在查询操作上的，因此在本书中着重讲解了查询操作并进行了相应的强化练习。要求学生具备数据库安装、工具使用，学会使用SQL语言完成数据库的增删改查的能力。
（2）Java面向对象程序设计
本书主要讲了Java面向对象编程的封装、继承、多态和一些常用的OOP技术，如Java IO,异常处理，集合框架，JDBC等企业应用比较广泛的技术。通过学习，学生会对OOP的编程有比较深刻的理解。配合数据库技术，学生可以进行基础企业级软件开发。在之前《使用Java理解程序逻辑》课程的基础上，学习Java面向对象编程知识，
让学生能够理解面向对象思想，使用面向对象的思想去编写代码，解决问题，为JSP开发提供支持。
（3）使用Hadoop处理海量数据
本课程主要包含Hadoop中的Hdfs和MapReduce内容，其中涉及到了Zookeeper框架的安装和基本使用。针对Hdfs主要对架构原理、读写原理、常用操作命令方面进行了详细讲解。针对MapReduce 主要对执行流程、程序的输入输出处理类、高级编程模式、Yarn资源管理算法等内容进行了详细讲解。其中会针对一些知识点实现一些案例需求，提高学员对知识点的掌握程度。
（4）使用spark快速处理PB级数据
本课程主要包含Spark简介及安装部署、Spark工作原理及架构分析、transformation和action算子操作、Spark RDD高级特性详解、Spark core案例分析、Spark sql入门、DataFrame数据源详解、Spark sql 函数详解、Spark Streaming入门、DStream详解、checkPoint机制详解、Window滑动窗口详解。
（5）Hbase数据库应用与开发
本书主要讲述了Hbase的应用场景、Hbase的逻辑模型，存储模型，物理模型、Hbase的安装部署、Hbase在shell命令下的操作、Hbase 的架构详解、Hbase的过滤器，协处理器、其中重点讲述了Hbase的列族属性设计原则，RowKey设计原则，RowKey预分区内容。本书中的理论内容较多，很多设计原则和优化原则都需要在深入理解Hbase的架构原理之后才能真正应用到实际项目中。
七、全学程时间安排及课程结构
全学程总计2568学时，143学分。
八、教学进程安排表
九、教育教学条件保障
1.师资条件保障
（1）专业专任教师应具有高等学校教师资格证书；研究生学历或硕士及以上学位比例不低于20%；适当外聘企业兼职教师担任专业实践课程。
（2）专业核心课程应由中级及以上专业技术职称和较丰富实践经验的“双师型”专任教师担任；企业兼职教师应具有中级及以上专业技术职称。
（3）每年不少于20%的专业专任教师进行相应的企业生产实践或继续教育，提高教师综合素质和实践教学能力。
2.实验实训条件保障
通过分年度进行实训室投入建设，加强实训室管理制度和内涵建设，拓宽校内校外实训基地，保障实践教学环节顺利开展。
十、教材及数字化（网络）资料学习资源
1.教材
⑴教材选用：使用高职高专教材，优先选用优秀规划教材。
⑵教材建设：根据我院大数据技术与应用专业的特点，打破原有教材框架，引入学习领域课程理念，创设一体化学习与工作情景，实现行动导向典型任务学习，促进学生综合能力发展的教材，注重开放式教学和实践性课程教材的开发，建设实现测绘工程项目教学目标的、具有“项目引导、任务驱动”教学模式的特色教材，与企业共同完成多门专业核心技能课程的理论实践一体化教材及多媒体配套课件建设。
2.数字化（网络）资源
⑴建设具有检索本专业及相关学科专业的各种信息资源。构建教学平台及资源库的使用制度、维护制度等，以保证其使用的合理性、有效性、公平性、共享性；制定定期更新资源、补充资源的规定，保障教学平台和教学资源的可持续使用性等。
⑵实现与教材配套的多媒体配套课件建设，利用现代化信息技术开展教学。
⑶建设与完善核心课程网络教学资源。
十一、教学方法、手段与教学组织形式建设
根据大数据技术与应用专业实践性强和强调学生动手能力培养的特点，以学生为中心，实施教学方法、手段和教学组织形式的教学改革。以实际项目为导向，开展现场教学，重视实践教学、项目教学和团队学习，提高学生学习的积极性和主动性。
1.教学方法与手段
以大数据技术与应用的职业岗位能力和职业素质培养为核心，实现“做中学、做中教”的教学模式。组织计算机行业企业专家参与课程教学设计，充分发挥校内外实训基地的优势，促进教学环境与工程环境、课堂与实训基地的一体化，促进课程教学目标要求、教学内容和教学实施与计算机行业项目的生产计划、组织与实施、成果与验收
的一致性，突出学生在实际工程环境下职业能力和素质的培养。教学方法可采用“兴趣教学法”、“任务驱动法”、“案例教学法”、“分组讨论法”和“现场教学法”等。
课程教学过程中，把多媒体教学、网络教学等现代教育技术和现代信息技术作为提高教学质量的重要手段，重视优质教学资源和网络信息资源的利用。
2.教学组织形式
教学组织应“以学生为中心”，根据学生特点，激发学生学习兴趣。
⑴公共基础课程：采用传统教学形式组织教学，但要注意调动学生学习的积极性，为学生综合素质的提高、职业能力的形成和可持续发展奠定基础。
⑵专业基本技能课程、专业核心技能课程：采用“教、学、练、做”一体化的形式组织教学，建立“课程与工作任务结合、课堂与技能结合、教学与情境结合、实训与岗位结合”的教学模式。
⑶实习实训课程：建议采用“任务驱动、项目导向”等形式组织教学，充分利用校内实习实训场、校内实训室、校外实训基地、企业顶岗实习等条件，强化职业技能的训练。
十二、教学评价与考核
建立和完善考核评价制度。以能力为核心，以计算机和软件行业职业资格标准为依据，以学生应具备的基本理论知识、技能水平和职业能力评价为重点，采取理论知识考试、技能操作考核和自我评价相结合的评价方式。针对各阶段的教学内容，由校企专兼职教师对学生的学习过程和学习结果进行考核。实施学生评教、同行互评、行业企业和社会有关机构评教，促进教学水平和教学质量的提高。
1.课程评价：采用过程性考核、结业考核相结合。过程性考核是以项目或模块为单位进行,考核依据是出勤、纪律、活动准备、情感态度、笔记、技能考核、项目内容测试等。结业考核通过集中考试进
行。可采用笔试、调查报告、心得体会、论文写作及现场操作等考核形式。
2.实习实训评价：包括校内综合实训和顶岗实习评价。校内综合实训考核以技能考核成果的数量、质量、表现为主。采用自我评价、小组评价和教师评价相结合的方式。顶岗实习考核采用企业指导教师与校内指导教师考核相结合的方式。从日常表现、知识与技能的掌握程度、成果质量、实习报告、过程记录资料等进行考核。
十三、毕业条件
1.学分条件
学生需修满至少143学分方可毕业，除通过公共课、专业课、选修课获取相应学分外，获得相关专业职业资格证书初级计2学分、中级4学分、高级6学分；获得技能大赛校级一等奖计2学分，省级一等奖6学分、二等奖4学分、三等奖2学分，国家级高级一等奖10学分、二等奖8学分、三等奖6学分。
2.职业资格条件
学生在校期间须参加计算机技术与软件专业资格水平考试（初级或中级）并取得相关证书。
十四、继续专业学习深造
1.继续学习的渠道
⑴专升本；
⑵自学考试（本科）；
⑶函授（本科）；
⑷攻读硕士学位。
2.更高层次教育的专业面向
⑴网络工程专业；
⑵计算机科学与技术专业；
⑶信息工程专业；
⑷软件工程专业。
3.更高层次专业职业发展
软件开发工程师。
教师基本情况表
大数据的概念、技术及应用1 概述 1.1 大数据的概念和特点 1.1.1 大数据的基础 1.1.2 大数据如何“与时俱进”？ 1.1.3 大数据发展趋势 人工智能 物联网结合 各个行业的深入 1.2 大数据的技术基础 1.2.1 从数据仓库开始 1.2.2 HADOOP 生态圈 1.2.3 与云计算的关系 1.2.4 数据运维能力提升 1.3 大数据的应用举例 1.3.1 大数据提升客户分析能力 1.3.2 大数据提升产品分析能力 1.3.3 大数据提升管理水平 1.3.4 大数据提升各行业“智慧” 1.4 大数据下的人工智能（AI） 1.4.1 什么是人工智能
1.4.2 人工智能改变哪些行业？ 1.4.3 大数据下的人工智能有何不同？ 1.4.4 人工智能的“颠覆” 1.5 大数据如何精细化管理 1.5.1 量化管理的引出 1.5.2 大数据如何提升“量化”的维度和深度1.5.3 从艺术到技术 1.5.4 自动驾驶到自动管理？ 1.6 电信企业的大数据“商机” 1.6.1 从网络运营到数据运营 1.6.2 提炼“内功” 1.6.3 提升外部管理能力 1.6.4 扩展增值产品运营市场 2 大数据的行业解决方案应用案例 2.1 基础应用范围 2.2 石油行业应用案例 2.3 交通行业应用案例 2.4 旅游行业应用案例 2.5 金融行业应用案例 2.6 电信行业应用案例 2.7 互联网行业应用案例等
3 大数据技术基础 3.1 从数据仓库开始 3.1.1 数据仓库的“集中” 3.1.2 数据仓库的模型标准化3.1.3 大数据的演进 3.2 HADOOP 生态圈 3.2.1 开源社区概述 3.2.2 开源改变了什么？3.2.3 HADOOP 生态圈内容3.2.4 HADOOP 的技术原则3.2.5 HADOOP 的运维3.3 HADOOP 基础 3.3.1 HDFS 的原理 3.3.2 MAP/REDUCE 原理3.3.3 YARN 原理 3.4 HIVE/HBASE 技术 3.4.1 HIVE 的原理 3.4.2 HBASE 的原理 3.4.3 两者的关系 3.5 SPARK 技术 3.5.1 基本原理
大数据技术原理与应用第四章课后作业 黎狸 1.试述在Hadoop体系架构中HBase与其他组成部分的相互关系。 HBase利用Hadoop MapReduce来处理HBase中的海量数据，实现高性能计算；利用Zookeeper作为协同服务，实现稳定服务和失败恢复；使用HDFS作为高可靠的底层存储，利用廉价集群提供海量数据存储能力; Sqoop为HBase的底层数据导入功能，Pig 和Hive为HBase提供了高层语言支持，HBase是BigTable的开源实现。 2.请阐述HBase和BigTable的底层技术的对应关系。 3.请阐述HBase和传统关系数据库的区别。 4.HBase有哪些类型的访问接口？ HBase提供了Native Java API , HBase Shell , Thrift Gateway , REST GateWay , Pig , Hive 等访问接口。 5.请以实例说明HBase数据模型。
6.分别解释HBase中行键、列键和时间戳的概念。 ①行键标识行。行键可以是任意字符串，行键保存为字节数组。 ②列族。HBase的基本的访问控制单元，需在表创建时就定义好。 ③时间戳。每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索 引。 7.请举个实例来阐述HBase的概念视图和物理视图的不同。 8.试述HBase各功能组件及其作用。 ①库函数：链接到每个客户端； ②一个Master主服务器：主服务器Master主要负责表和Region的管理工作； ③③许多个Region服务器：Region服务器是HBase中最核心的模块，负责存储和 维护分配给自己的Region，并响应用户的读写请求
大数据技术与应用基础》教学大纲 时：60 码： 适用专业： 定： 核： 准： 、课程的地位、性质和任务 大数据技术的发展，已被列为国家重大发展战略。而在过去的几年里，无论是聚焦大数据发展的《促进大数据发展行动纲要》，还是《“十三五”规划》中都深刻体现了政府对大数据产业和应用发展的重视。目前国内大数据发展还处于加速期、转型期，数据与传统产业的融合还处于起步阶段，各行业对大数据分析和挖掘的应用还不理想。但随着市场竞争的加剧，各行业对大数据技术研究的热情越来越高，在未来几年，各领域的数据分析都将大规模应用。 本课程在注重大数据时代应用环境前提下，考虑大数据处理分析需求多样复杂的基本情况，从初学者角度出发，以轻量级理论、丰富的实例对比性地介绍大数据常用计算模式
的各种系统和工具。考虑到当前大数据发展处于起步并逐步赶超先进的阶段，其应用领域 丰富广泛，在教学过程中应注重掌握大数据分析的实践操作。本课程通过丰富简单易上手 的实例，让学生能够切实体会和掌握各种类型工具的特点和应用。 、课程教学基本要求 1 . 了解大数据的发展和基本概念，理解并掌握大数据的特征及主要技术层面。 2 . 掌握Scrapy 环境的搭建，了解网络爬虫获取数据的过程，熟悉爬虫项目的创建。 3 . 深刻了解hadoop的基础理论，理解并掌握Hadoop单机及集群环境的部署方法。 4 . 掌握HDFS的基本概念和HDFS在hadoop中的作用，理解并识记HDFS勺使用，了解 HDFS的JAVA API接口及数据流原理；让学生明白Map过程与Reduce过程这两个独立部分各自的原理及合作途径，知道如何独立编写满足自己需求的Map Reduces序。 5.理解HBase中涉及的基本概念，掌握HBase的简单应用；让学生了解数据仓库的基 础概念，熟悉Hive与HDFS Map Reduced接的关心。 6.熟悉Spark和RDM基本概念，熟悉spark接口的使用，解决实战时的步骤及思路。 7.明白Hadoop和Storm之间的差别，掌握对Storm的使用。理解Apex的工作过程并能简单应用。 8. 了解Druid 的基本概念、应用场景以及集群架构，掌握批量数据加载、流数据加载 的操作。了解Flink 的重要概念和基本架构，掌握Flink 简单的使用实例。
大数据技术与应用专业建设 调研报告 自党的十八大以来，我国提出了实施国家大数据战略的重大决策。国务院和相关部门先后印发了《促进大数据发展行动纲要》、《大数据产业发展规划（2016～2020年）》等指导性文件。各部门、各地方高度重视，据不完全统计，我国已有20多个省级地方和10余个部委出台了本地区、本行业大数据发展规划，我国大数据发展已经正式驶入快车道。 2015年9月5日经李克强总理签批，国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统指导我国大数据发展的国家顶层设计和总体部署大数据发展工作。《纲要》提出从政府大数据、新兴产业大数据、安全保障体系三个方面着手推进大数据领域十大工程建设，将我国大数据发展推向了另一个制高点。 职业教育服务经济与社会发展，必须紧跟产业发展步伐，随着经济增长方式转变而“动”，跟着产业结构调整升级而“走”，围着企业技能型人才需求而“转”，适应市场的需求而“变”。在大数据技术飞速发展的今天，职业教育必须紧跟大数据产业发展步伐。为了更好地了解相关行业企业对大数据人才的需求，促进大数据技术与应用专业教学及专业建设，大数据技术与应用专业教学资源库建设团队在国内外针对大数据在行业企业的需求开展了调研。
一、调研目的 1、了解大数据行业企业对大数据技术与应用专业人才的需求倾向、人才需求规格预测、就业预测、人才的市场定位等； 2、了解大数据行业企业对大数据技术与应用专业人才培养模式、培养目标的意见，以及对专业知识、岗位分工、职业技能等的要求； 3、了解往届相关专业毕业生在工作单位的表现及用人单位对往届毕业生的工作、岗位能力评价； 4、与相关企业建立校企合作模式，促进教学与社会实践的联系，为大数据技术与应用专业教学资源库的专业建设、课程体系建设及培养模式寻找更完善的发展方向。 二、调研方式 1.问卷调查：印制问卷涵寄或面交，请企业相关人员作答。 2.实地调研：教师到企业和用人单位实地调研。 3.座谈调研：邀请用人单位的技术人员、管理人员到系里开展座谈交流。 4.网上调查：到网上搜索有关人才需求、课程设计、教学计划等信息。 三、国内外大数据发展现状 （一）大数据产业呈现爆炸式增长 由IDC和EMC联合发布的《The Digital Universe of Opportunities : Rich Data and the Increasing Value of Internet of Things》研究报告中指出，2011年全球数据总量已达到1.8ZB，并将以每两年翻一番的速度增长，
大数据技术原理与应用-林子雨版-课后习 题答案
第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。 3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？ 答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用 9.举例说明大数据的关键技术 答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。 11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
目录 1实验主题 (1) 2实验目的 (1) 3实验性质 (1) 4实验考核方法 (1) 5实验报告提交日期与方式 (1) 6实验平台 (1) 7实验内容和要求 (1) 8实验指导 (2) 8.2 开启Hadoop所有守护进程 (2) 8.2 搭建Eclipse环境编程实现Wordcount程序 (3) 1.安装Eclipse (3) 2.配置Hadoop-Eclipse-Plugin (3) 3.在Eclipse 中操作HDFS 中的文件 (7) 4.在Eclipse 中创建MapReduce 项目 (8) 5.通过Eclipse 运行MapReduce (13) 6.在Eclipse 中运行MapReduce 程序会遇到的问题 (16)
1实验主题 1、搭建Hadoop、Eclipse编程环境 2、在Eclipse中操作HDFS 3、在Eclipse中运行Wordcount程序 4、参照Wordcount程序，自己编程实现数据去重程序 2实验目的 （1）理解Hadoop、Eclipse编程流程； （2）理解MapReduce架构，以及分布式编程思想； 3实验性质 实验上机内容，必做，作为课堂平时成绩。 4实验考核方法 提交上机实验报告，纸质版。 要求实验报告内容结构清晰、图文并茂。 同学之间实验报告不得相互抄袭。 5实验报告提交日期与方式 要求提交打印版，4月19日（第10周）之前交到软件学院412。 6实验平台 操作系统：Linux Hadoop版本：2.6.0或以上版本 JDK版本：1.6或以上版本 Java IDE：Eclipse 7实验内容和要求 （1）搭建Hadoop、Eclipse编程环境； （2）运行实验指导上提供的Wordcount程序； （3）在Eclipse上面查看HDFS文件目录； （4）在Eclipse上面查看Wordcount程序运行结果； （5）熟悉Hadoop、Eclipse编程流程及思想； 程序设计题，编程实现基于Hadoop的数据去重程序，具体要求如下： 把data1文件和data2文件中相同的数据删除，并输出没有重复的数据，自己动手实现，把代码贴到实验报告的附录里。 设计思路： 数据去重实例的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。具体就是Reduce的输入应该以数据作为Key，而对value-list则没有要求。当Reduce 接收到一个
大数据技术与应用专业详细解读 大数据技术与应用专业是新兴的“互联网+”专业，大数据技术与应用专业将大数据分析挖掘与处理、移动开发与架构、人软件开发、云计算等前沿技术相结合，并引入企业真实项目演练，依托产学界的雄厚师资，旨在培养适应新形势，具有最新思维和技能的“高层次、实用型、国际化”的复合型大数据专业人才。 专业背景 近几年来，互联网行业发展风起云涌，而移动互联网、电子商务、物联网以及社交媒体的快速发展更促使我们快速进入了大数据时代。截止到目前，人们日常生活中的数据量已经从TB(1024GB=1TB)级别一跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别，数据将逐渐成为重要的生产因素，人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。大数据时代，专业的大数据人才必将成为人才市场上的香饽饽。当下，大数据从业人员的两个主要趋势是：1、大数据领域从业人员的薪资将继续增长；2、大数据人才供不应求。 图示说明：2012-2020年全球数据产生量预测 专业发展现状 填补大数据技术与应用专业人才巨大缺口的最有效办法无疑还需要依托众多的高等院校来培养输送，但互联网发展一日千里，大数据技术、手段日新月异，企业所需要的非常接地气的人才培养对于传统以培养学术型、科研型人才为主要使命的高校来说还真有些难度。幸好这个问题已经被全社会关注，政府更是一再提倡产教融合、校企合作来创办新型前沿几
乎以及“互联网+”专业方向，也已经有一些企业大胆开始了这方面的创新步伐。据我了解，慧科教育就是一家最早尝试高校校企合作的企业，其率先联合各大高校最早开设了互联网营销，这也是它们的优势专业，后来慧科教育集团又先后和北京航空航天大学、对外经济贸易大学、贵州大学、华南理工大学、宜春学院、广东开放大学等高校在硕、本、专各个层次开设了大数据专业方向，在课程体系研发、教学授课及实训实习环节均有来自BAT以及各大行业企业一线的技术大拿参与，所培养人才能够很好地满足企业用人需求。 专业示例 笔者在对慧科教育的大数据技术与应用专业做了专门研究，共享一些主要特色给大家参考： 1.培养模式 采用校企联合模式，校企双方（即慧科教育集团和合作校方）发挥各自优势，在最大限度保证院校办学特色及专业课程设置的前提下，植入相应前沿科技及特色人才岗位需求的企业课程。 2.课程体系 笔者对慧科教育的大数据技术与应用做了专门研究，现分享一下慧科专业共建的课程给大家参考。慧科教育集团的专业课程重在培养学生的理论知识和动手实践能力，学生在完成每个学期的理论学习后，至少有两个企业项目实战跟进，让学生在项目中应用各类大数据技术，训练大数据思路和实践步骤，做到理论与实践的充分结合。 大数据专业的课程体系包括专业基础课、专业核心课、大数据架构设计、企业综合实训等四个部分。
《大数据技术与应用基础》教学大纲 学时：60 代码： 适用专业： 制定： 审核： 批准： 一、课程的地位、性质和任务 大数据技术的发展，已被列为国家重大发展战略。而在过去的几年里，无论是聚焦大数据发展的《促进大数据发展行动纲要》，还是《“十三五”规划》中都深刻体现了政府对大数据产业和应用发展的重视。目前国内大数据发展还处于加速期、转型期，数据与传统产业的融合还处于起步阶段，各行业对大数据分析和挖掘的应用还不理想。但随着市场竞争的加剧，各行业对大数据技术研究的热情越来越高，在未来几年，各领域的数据分析都将大规模应用。 本课程在注重大数据时代应用环境前提下，考虑大数据处理分析需求多样复杂的基本情况，从初学者角度出发，以轻量级理论、丰富的实例对比性地介绍大数据常用计算模式的各种系统和工具。考虑到当前大数据发展处于起步并逐步赶超先进的阶段，其应用领域丰富广泛，在教学过程中应注重掌握大数据分析的实践操作。本课程通过丰富简单易上手的实例，让学生能够切实体会和掌握各种类型工具的特点和应用。 二、课程教学基本要求 1. 了解大数据的发展和基本概念，理解并掌握大数据的特征及主要技术层面。 2. 掌握Scrapy环境的搭建，了解网络爬虫获取数据的过程，熟悉爬虫项目的创建。 3. 深刻了解hadoop的基础理论，理解并掌握Hadoop单机及集群环境的部署方法。 4. 掌握HDFS的基本概念和HDFS在hadoop中的作用，理解并识记HDFS的使用，了解HDFS 的JAVA API接口及数据流原理；让学生明白Map过程与Reduce过程这两个独立部分各自的原理及合作途径，知道如何独立编写满足自己需求的MapReduce程序。 5. 理解HBase中涉及的基本概念，掌握HBase的简单应用；让学生了解数据仓库的基础概念，熟悉Hive与HDFS、MapReduce直接的关心。 6. 熟悉Spark和RDD的基本概念，熟悉spark接口的使用，解决实战时的步骤及思路。
第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。 3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？
答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。 8.举例说明大数据的基本应用 答： 9.举例说明大数据的关键技术
答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。 11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。 12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
附件： 2017年大数据技术与及用人才培养方案 一、培养目标 本专业培养适应生产、建设、服务和管理第一线需要的，德、智、体、美等方面全面发展的，具有大数据行业对应岗位必备的科学文化知识及相关专业知识，以大数据系统运维与管理、数据处理、数据分析、应用系统开发能力为目标，系统掌握大数据技术与应用专业基本理论、大数据分析挖掘与处理、移动开发与架构、软件开发、云计算技术等前沿技术，旨在培养适应新形势下新兴的“互联网+”专业，具有良好职业道德和敬业精神的高素质技能型专门人才。 二、学制及招生对象 （一）学制：三年 （二）招生对象：高中毕业生和中职毕业生 三、人才培养规格 （一）职业面向、预期工作岗位名称 1.主要岗位 本专业大数据基础类岗位：大数据文档编写、大数据采集清洗与转换； 大数据技术类岗位：大数据系统搭建与运维、海量数据库管理、大数据软件开发、大数据可视化、大数据分析； 2.相关岗位 大数据销售服务类岗位：大数据营销、大数据呼叫、大数据售后服务。 3.进阶岗位 大数据技术公司管理岗位和高级技术岗位 （二）起薪标准 4500元/月 （三）人才质量标准 1.知识要求 毕业生应具有大数据技术与应用专业必要的基础理论知识，掌握从事本专业领域实际工作的基本能力和基本技能；具备适应生产、管理、服务一线岗位需要的工作能力，具备良好的职业道德与素养。
①掌握本专业培养目标所要求的基础理论知识、专业知识和技能； ②具备一定的英语知识，能够借助工具书阅读理解本专业所使用的常用计算机英语， 包括技术性文档和资料； ③掌握计算机方面的专业基础知识，能适应信息化建设； ④掌握Linux平台下大数据平台搭建，数据库系统搭建、优化、管理等方面的专业技 能； ⑤掌握大数据技术与应用专业基本的专业技能，能满足大数据岗位的基本素质。 2.能力要求 通过三年的学习，学生应具备从事本专业领域相关工作的能力。 ①熟练操作办公自动化软件； ②具备计算机组装、计算机软硬件故障的判断与定位以及故障排除的能力。 ③具备办公自动化设备维护的能力；具备数据库系统管理维护的能力； ④具备非结构化数据处理能力； ⑤具备数据仓库管理基本能力； ⑥具备OOP程序设计能力； ⑦具备Web应用开发能力； ⑧具备Linux Server、Hadoop项目管理维护的能力； ⑨具备数据挖掘、数据清洗、数据可视化的处理能力。 3.素质要求 ①政治思想素质： 热爱祖国，拥护党的基本路线。遵纪守法，善于独立思考，勇于创新的精神。具备良好的职业道德与素养。 ②文化素质： 具有一定的文化素质修养，诚实守信、礼貌待人、为人谦逊的文明习惯；具有自尊自强、爱岗敬业、勤奋好学、追求进步的品格；具备良好的人际交往与勾通和工作协调能力。 ③业务素质： 掌握大数据技术与应用专业的基础理论知识；掌握计算机组装与维护、办公自动化软件操作、办公自动化设备维护、计算机网络系统维护及管理、关系型/非关系型数据库系统维护及管理、Windows/Linux服务器系统配置管理等方面、各类大数据平台搭建管理维护的专业技能的能力。
【最新整理，下载后即可编辑】 第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？ 答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用 答： 9.举例说明大数据的关键技术 答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。 12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
《大数据分析方法与应用》课程教学大纲 课程代码：090542008 课程英文名称：Big Data Analysis: Methods and Applications 课程总学时：40 讲课：40 实验：0 上机：0 适用专业：应用统计学 大纲编写（修订）时间：2017.6 一、大纲使用说明 （一）课程的地位及教学目标 本课程是应用统计学专业的一门专业课，通过本课程的学习，可以使学生学会选用适当的方法和技术分析数据，领会大数据分析方法和应用，掌握复杂数据的分析与建模，使学生能够按照实证研究的规范和数据挖掘的步骤进行大数据研发，为就业与继续深造打下必要而有用的基础。 （二）知识、能力及技能方面的基本要求 1.基本知识：掌握数据挖掘流程、随机森林树的回归算法、基于预测强度的聚类方法、朴素贝叶斯分类、高维回归及变量选择、图模型等。 2.基本能力：要求能在真实案例中应用相应的方法。 3.基本技能：掌握复杂数据的分析与建模。 （三）实施说明 1. 本大纲主要依据应用统计学专业2017版教学计划、应用统计学专业专业建设和特色发展规划和沈阳理工大学编写本科教学大纲的有关规定并根据我校实际情况进行编写的。 2. 课程学时总体分配表中的章节序号在授课过程中可酌情调整顺序，课时分配仅供参考。打“*”号的章节可删去或选学。 3. 建议本课程采用课堂讲授、讨论相结合的方法开展教学，通过讨论等方式强化重点，通过分散难点，使学生循序渐进的掌握难点。 4．教学手段：建议采用多媒体等现代化手段开展教学。 （四）对先修课的要求 本课程的先修课程：应用多元统计分析。 （五）对习题课、实践环节的要求 通过案例讲解算法，鼓励学生演示分析思路和分析收获，使学生有机会诊断问题，并学会选用适当的方法和技术分析数据。 （六）课程考核方式 1．考核方式：考查 2．考核目标：在考核学生基础知识、基本技能，基本能力的基础上，重点考核学生的分析能力、解决实际问题能力。 3．成绩构成：本课程由平时成绩和结课报告的质量评定优、良、中、及格和不及格。 （七）参考书目: 《大数据分析：方法与应用》，王星编，清华大学出版社，2013. 二、中文摘要 《大数据分析方法与应用》是高等学校应用统计学专业的一门选修的专业课。本课程着重介绍了统计学习、数据挖掘和模式识别等领域的各种大数据分析方法。课程主要内容包括大数据分析概述、数据挖掘流程、随机森林树、基于预测强度的聚类方法、贝叶斯分类和因果学习、高
大数据技术原理及应用 (总10页) -CAL-FENGHAI.-(YICAI)-Company One1 -CAL-本页仅作为文档封面，使用请直接删除
大数据技术原理及应用 大数据处理架构—Hadoop简介 Hadoop项目包括了很多子项目，结构如下图 Common 原名：Core，包含HDFS, MapReduce和其他公共项目，从Hadoop 版本后，HDFS和MapReduce分离出去，其余部分内容构成Hadoop Common。Common为其他子项目提供支持的常用工具，主要包括文件系统、RPC(Remote procedure call) 和串行化库。 Avro Avro是用于数据序列化的系统。它提供了丰富的数据结构类型、快速可压缩的二进制数据格式、存储持久性数据的文件集、远程调用RPC的功能和简单的动态语言集成功能。其中，代码生成器既不需要读写文件数据，也不需要使用或实现RPC协议，它只是一个可选的对静态类型语言的实现。Avro系统依赖于模式（Schema），Avro数据的读和写是在模式之下完成的。这样就可以减少写入数据的开销，提高序列化的速度并缩减其大小。 Avro 可以将数据结构或对象转化成便于存储和传输的格式，节约数据存储空间和网络传输带宽，Hadoop 的其他子项目（如HBase和Hive）的客户端和服务端之间的数据传输。 HDFS HDFS：是一个分布式文件系统，为Hadoop项目两大核心之一，是Google file system（GFS）的开源实现。由于HDFS具有高容错性（fault-tolerant）的特点，所以可以设计部署在低廉（low-cost）的硬件上。它可以通过提供高吞吐率（high throughput）来访问应用程序的数据，适合那些有着超大数据集的应
数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如：淘宝网站交易系统、1２306网站火车票交易系统、超市ＰOＳ系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单，一般只有少数几步操作组成，比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成； 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如OＲＡＣLＥ、MＹSQL、SQＬSERVER,再加数据复制（DataGurａd、RＭAＮ、ＭｙSQＬ数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下，一般可以采用ORＡLＣＥRAC集群方式或者就是通过硬件升级（采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、1230６等互联网企业中,由于数据量大、访问并发量高，必然采用分布式技术来应对,这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用得系统来解决本问题。
２数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等． 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算，每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂，例如会涉及大量goｕpbｙ、子查询、嵌套查询、窗口函数、聚合函数、排序等；有些复杂统计可能需要编写ＳQＬ脚本才能实现． 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计； 传统得数据统计分析主要采用基于ＭＰP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法，把数据整理成适合统计分析得结构来实现高性能得数据统计分析，以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求，基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。
大数据技术与应用专业 建设方案 北京四合天地科技有限公司 2018年6月
目录 1项目背景 (4) 1.1行业背景 (4) 1.2政策导向 (5) 2人才培养方案 (6) 2.1行业人才需求 (6) 2.2大数据岗位设置 (9) 2.2.1Hadoop运维工程师 (9) 2.2.2大数据开发工程师 (9) 2.2.3数据采集工程师 (10) 2.2.4系统开发工程师 (11) 2.3大数据人才基本技能要求 (11) 2.4人才培养目标 (12) 2.5人才培养策略 (12) 3教学现状分析 (13) 3.1教学科研难以保证 (13) 3.2实训环境缺失 (13) 3.3实训内容不足 (13) 4课程体系建设 (14) 4.1培养目标 (14) 4.2课程设置 (14) 5实训室建设 ............................................................................................... 错误!未定义书签。 5.1设计理念..................................................................................................... 错误!未定义书签。 5.1.1以就业为导向...................................................................................... 错误!未定义书签。 5.1.2以能力为本.......................................................................................... 错误!未定义书签。
大数据技术与应用专业 人才需求分析和预测性调研报告 一、调研情况分析 (一)政府发展规划与政策动态 推动大数据产业持续健康发展，是党中央、国务院作出的重大战略部署，是实施国家大数据战略、实现我国从数据大国向数据强国转变的重要举措。日前，工业和信息化部正式印发了《大数据产业发展规划（2016－2020年）》（以下简称《规划》），全面部署“十三五”时期大数据产业发展工作，加快建设数据强国，为实现制造强国和网络强国提供强大的产业支撑。 2018年，贵州提出“万企融合”大行动，计划用五年时间，带动10000家企业通过应用大数据技术，提升企业数字化、网络化、智能化水平，实现发展新增长、服务升级。有预测称，这次行动将在贵州形成超过1200亿美元的市场。 (二)市场需求和行业发展趋势 1）大数据市场需求 大数据经过前几年的概念热炒之后，逐步走过了探索阶段、市场启动阶段，当前已经在接受度、技术、应用等各个方面趋于成熟，开始步入产业的快速发展阶段。大数据巨大的应用价值带动了大数据行业的迅速发展，行业规模增长迅速。截至 2014 年，全球大数据市场规模已经成长到300 亿美元的空间，预测到2017 年全球大数据技术和服务市场的2018 年的复合年增长率将达到26.4%，规模达到415 亿美元，是整个IT 市场增幅的6 倍。大数据市场规模在2020 年有望达到611.6 亿美元，符合年增长率将达到26%。 中国大数据产业起步晚，发展速度快。物联网、移动互联网的迅速发展，使数据产生速度加快、规模加大，迫切需要运用大数据手段进行分析处理，提炼其中的有效信息。“大数据”已成为一个热门词语高频出现在各种场合，其专门人才已不能满足市场需求。经过专门调研数据显示，大数据人才岗位缺口2018年高达150万，俱预测2025年中国大数据人才缺口达到200万，这给高校和人力资源企业的一个很大的优惠。未来几年人才需求将持续走俏。引进和培养1000
附件25： 高职电子信息大类大数据技术与应用赛项 技能竞赛规程、评分标准及选手须知 一、竞赛容 赛项名称：大数据技术与应用 赛项容：以大数据技术与应用为核心容，重点考察参赛选手在Hadoop平台环境下，对于大规模并行数据处理以及存计算技术的应用能力。具体包括： 1. 掌握Hadoop平台环境部署与基本配置，了解基于大数据计算平台的常见应用； 2．综合利用numpy、pandas、matplotlib、scikit 模块和MapReduce技术、分布式存储系统HDFS、分布式计算框架MapReduce/Yarn、数据仓库Hive、Python 等开发语言工具和技术，匹配和连接数据源，实现大数据的采集，提取、清洗、转换、分析、挖掘操作，产生分析结果，并且实现可视化呈现。 3．依据项目应用需求和分析结果，完成数据分析报告的编写。 二、竞赛方式 本赛项为团体赛，每支参赛队由3名参赛选手组成。 三、竞赛时量 竞赛时间4小时，竞赛连续进行。 四、名次确定办法 名次确定办法原则上按照竞赛总成绩从高分到低分排序确立选手名次。总成绩相同时，完成时间较短者名次列前；成绩和完成时间均相同时，操作过程较规者名次列前。 五、评分标准与评分细则 1．评分标准 本赛项总分为100分，采取分项计分制（表1）。
2．评分细则 竞赛成绩评定实行“裁判长合权负责制”，负责组织评分裁判进行成绩评定。评分裁判负责对参赛队伍（选手）的比赛作品、比赛表现按赛项评分标准进行评定。成绩评定根据竞赛考核目标、容对参赛队或选手在竞赛过程中的表现和最终成果做出评价。 本赛项的评分方法为现场评分和结果评分，现场评分为5分，由现场裁判根据参赛队的操作规以及综合表现情况进行评分；结果评分为95分，依据赛项评价标准，对参赛选手提交的竞赛成果进行评分。
《大数据技术与应用基础》教学大纲 学时： 60 代码： 适用专业： 制定： 审核： 批准： 一、课程的地位、性质和任务 大数据技术的发展，已被列为国家重大发展战略。而在过去的几年里，无论是聚焦大数据发展 的《促进大数据发展行动纲要》，还是《“十三五”规划》中都深刻体现了政府对大数据产业和应用 发展的重视。目前国内大数据发展还处于加速期、转型期，数据与传统产业的融合还处于起步阶段，各 行业对大数据分析和挖掘的应用还不理想。但随着市场竞争的加剧，各行业对大数据技术研究的 热情越来越高，在未来几年，各领域的数据分析都将大规模应用。 本课程在注重大数据时代应用环境前提下，考虑大数据处理分析需求多样复杂的基本情况，从 初学者角度出发，以轻量级理论、丰富的实例对比性地介绍大数据常用计算模式的各种系统和工具。 考虑到当前大数据发展处于起步并逐步赶超先进的阶段，其应用领域丰富广泛，在教学过程中应注 重掌握大数据分析的实践操作。本课程通过丰富简单易上手的实例，让学生能够切实体会和掌握各 种类型工具的特点和应用。 二、课程教学基本要求 1.了解大数据的发展和基本概念，理解并掌握大数据的特征及主要技术层面。 2.掌握 Scrapy 环境的搭建，了解网络爬虫获取数据的过程，熟悉爬虫项目的创建。 3.深刻了解 hadoop 的基础理论，理解并掌握 Hadoop 单机及集群环境的部署方法。 4.掌握 HDFS 的基本概念和 HDFS 在 hadoop 中的作用，理解并识记 HDFS 的使用，了解HDFS的JAVA API 接口及数据流原理；让学生明白Map 过程与 Reduce过程这两个独立部分各自的原理及合作途径，知道如何独立编写满足自己需求的MapReduce程序。 5.理解 HBase 中涉及的基本概念，掌握 HBase 的简单应用；让学生了解数据仓库的基础概念，熟 悉 Hive 与 HDFS 、 MapReduce 直接的关心。 6. 熟悉 Spark 和 RDD 的基本概念，熟悉spark 接口的使用，解决实战时的步骤及思路。 7. 明白 Hadoop 和 Storm 之间的差别，掌握对Storm 的使用。理解 Apex 的工作过程并能简单应用。 8.了解 Druid 的基本概念、应用场景以及集群架构，掌握批量数据加载、流数据加载的操作。 了解 Flink的重要概念和基本架构，掌握Flink简单的使用实例。 9.理解Elasticsearch的基本架构，掌握Elasticsearch的一些入门操作。了解并基本掌握怎样利用所学的工具对目标实例进行数据分析。 三、课程的内容 1．大数据概述
大数据分析及其技术的关键 关于大数据分析，现实的情况是，说的人很多，鼓吹其神奇价值的喧嚣声浪很高，却鲜见其实际运用得法的模式和方法。造成这种窘境的原因无外乎有二：一是对于大数据分析的价值逻辑尚缺乏足够深刻的洞察；二是大数据分析中的某些重大要件或技术还不成熟。 比如，提到大数据的大，一般人认为指的是它数据规模的海量――随着人类在数据记录、获取及传输方面的技术革命，造成了数据获得的便捷与低成本，这便使原有的以高成本方式获得的、描述人类态度或行为的、数据有限的小数据变成了一个巨大的、海量规模的数据包。这其实是一种不得要领、似是而非的认识。其实，前大数据时代也有海量的数据集，但由于其维度的单一，以及和人或社会有机活动状态的剥离，而使其分析和认识真相的价值极为有限。大数据的真正价值不在于它的大，而在于它的全――空间维度上的多角度、多层次信息的交叉复现；时间维度上的与人或社会有机体的活动相关联的信息的持续呈现。 以数据的交叉复现对于还原真相的价值为例：一个家住北京的男人借去杭州出差的机会到上海与情人幽会，回到北京后怕被老婆发现把相关的短信、微信、通话记录统统都删
除掉，但他老婆如果掌握了大数据分析方法的话便很容易获得真相：查询酒店的开房记录、刷卡消费的记录、甚至他在上海期间一不留神转发的一条微博都可能透露出的位置信息。正如《大数据时代》中所引述的，一个孕妇的口味及消费模式等是有一定规律的，单一一条信息并不足以判定你的状态，但关于你的不同来源的数据集合一旦与孕妇特型（如果我们掌握了这个分析模型的话）高度相关，人们便很容易对你的真实状态进行一种准确的判断而不管你自己承认或者不承认。 再举个例子，面对今天社会舆情态势，常常有人感慨：“造谣的成本很低，辟谣的成本却很高”，抱怨现在的网络给造谣者造谣、传谣带来的极大便利以及人民群众过于轻信和弱智。如果我们用某个事件的数据、单一的和静态截面上的数据去观察和分析这个问题的时候，真的可能得出上述这样一种结论。但是，如果我们从社会传播的总体信息构造上分析，会发现流言或谣言的猖獗不正在于掌握了社会信息传播主渠道的那些部门的不作为、甚至蒙蔽真相所造成的吗？再有，或许你在这个地方、这件事上没有蒙蔽真相，道出的是实情；但如果你或你的同类机构、同类官员在其他事情、其他场合上有过种种蒙蔽真相、文过饰非、官官相护甚至动用官方的强力以“辟谣”的方式制造假象的劣迹，人民群众在一次次被蒙蔽甚至被欺骗后，还会一如既往地相信你、依