下载文档原格式
大数据导论1.课程简介本课程的主要目的是让学生了解什么是大数据，大数据的特点，大数据思维，大数据的核心技术，大数据应用，大数据带来的变革，以及大数据面临的挑战，从而使学生对大数据技术和应用有一个初步的了解。
本课程重视演示和实战，以便使学生通过亲身体验来理解和掌握大数据的核心概念。
2.课程安排（74学时：42学时讲课，6学时演示，26学时实验）第一阶段：大数据概述（8+4+0）第一课：（理论：2学时）第一章大数据概述第二课：（理论：2学时）第二章大数据采集第三课：（理论：2学时）第三章大数据预处理第四课：（演示：2学时）演示一：大数据技术演示第五课：（理论：2学时）第四章大数据处理系统第六课：（演示：2学时）演示二：大数据应用演示第二阶段：大数据存储技术（8+0+8）第七课：（理论：2学时）第五章大数据文件系统HDFS第八课：（使用：2学时）实验一：分布式文件系统HDFS使用第九课：（理论：2学时）第六章 NoSQL数据库HBase第十课：（实验：2学时）实验二：列式数据库HBase使用第十一课：（理论：2学时）第七章数据仓库Hive第十二课：（理论：2学时）第七章数据仓库Hive第十三课：（实验：2学时）实验三：HiveQL 命令行的使用第十四课：（实验：2学时）实验四：使用JDBC程序操作数据库第三阶段：大数据处理技术（12+0+10）第十五课：（理论：2学时）第八章大数据批处理Hadoop MapReduce第十六课：（理论：2学时）第八章大数据批处理Hadoop MapReduce第十七课：（实验：2学时）实验五：批处理模式MapReduce应用第十八课：（理论：2学时）第九章大数据快速处理Spark第十九课：（实验：2学时）实验六：内存处理模式Spark应用第二十课：（理论：2学时）第十章大数据实时流计算 Spark Streaming第二十一课：（实验：2学时）实验七：流式处理模式Spark Streaming应用第二十二课：（理论：2学时）第十一章分布式图计算框架 Spark GraphX第二十三课：（实验：2学时）实验八：图处理模式Spark Graph应用第二十四课：（理论：2学时）第十二章大数据随机查询 Spark SQL第二十五课：（实验：2学时）实验九：大数据随机查询Spark SQL使用第四阶段：大数据挖掘技术（14+2+8）第二十六课：（理论：2学时）第十三章大数据挖掘概述第二十七课：（理论：2学时）第十三章大数据挖掘概述第二十八课：（理论：2学时）第十三章大数据挖掘概述第二十九课：（演示：2学时）演示三：数据挖掘应用体验第三十课：（理论：2学时）第十四章大数据挖掘系统 Spark MLlib第三十一课：（实验：2学时）实验十：聚类算法实验第三十二课：（实验：2学时）实验十一：分类算法实验第三十三课：（实验：2学时）实验十二：关联分析算法实验第三十四课：（实验：2学时）实验十三：协同过滤算法实验第三十五课：（理论：2学时）第十五章大数据可视化第三十六课：（理论：2学时）第十六章 Python数据可视化第三十七课：（理论：2学时）第十七章大数据的功能应用场景3.学时分配。
《大数据导论》课程期末复习资料《大数据导论》课程讲稿章节目录：第1章大数据概述（1）大数据的概念（2）大数据的特征（3）大数据的数据类型（4）大数据的技术（5）大数据的应用第2章大数据采集与预处理（1）大数据采集（2）大数据预处理概述（3）数据清洗（4）数据集成（5）数据变换（6）数据规约第3章大数据存储（1）大数据存储概述（2）数据存储介质（3）存储系统结构（4）云存储概述（5）云存储技术（6）新型数据存储系统（7）数据仓库第4章大数据计算平台（1）云计算概述（2）云计算平台（3）MapReduce平台（4）Hadoop平台（5）Spark平台第5章大数据分析与挖掘（1）大数据分析概述（2）大数据分析的类型及架构（3）大数据挖掘（4）大数据关联分析（5）大数据分类（6）大数据聚类（7）大数据分析工具第6章大数据可视化（1）大数据可视化概述（2）大数据可视化方法（3）大数据可视化工具第7章社交大数据（1）社交大数据（2）国内社交网络大数据的应用（3）国外社交网络大数据的应用第8章交通大数据（1）交通大数据概述（2）交通监测应用（3）预测人类移动行为应用第9章医疗大数据（1）医疗大数据简介（2）临床决策分析应用（3）医疗数据系统分析第10章大数据的挑战与发展趋势（1）大数据发展面临的挑战（2）大数据的发展趋势一、客观部分：（单项选择、多项选择）（一）、单项选择1.以下不是NoSQL数据库的是（）A.MongoDBB.HBaseC.CassandraD.DB2★考核知识点:NoSQL与NewSQL主流系统参考讲稿章节：3.7附1.1.1（考核知识点解释）：目前市场上主要的NoSQL数据存储工具有：BigTable、Dynamo 、Hbase、MongoDB、CouchDB、Hypertable还存在一些其他的开源的NoSQL数据库，Neo4j、Oracle Berkeley DB、Apache Cassandra等另外，NewSQL数据库。
大数据导论课程教学大纲
XMU Undergraduate Course Syllabus
厦门大学本科课程大纲填写说明(Notes)
1．须同时填写课程大纲中文版和英文版。
2．课程名称必须准确、规范。
3．课程代码：非任课教师填写。
该课程在教务系统生成后，由学院代为填写。
4．授课对象填写专业。
5．适用年级填写可修读本课程的时间，如本科三年级第一学期。
6．课程类型指公共基本课程、通识教育课程、学科通修课程、专业（或专业方向）课程、其他教学环节。
7．课程课型指理论课、实验课、技能课、实践课。
8．总学时=授课学时+讨论学时+实验学时+上机学时+其他学时
9．先修课程是与该课程具有严格的前后逻辑关系，非先修课程则无法学习该课程。
10.培养目标不少于150字。
11.考核方式包括成绩登记方式、成绩组成、考核标准等。
成绩登记方式包括百分制、
通过/不通过等。
成绩组成指各种考核方式占比。
考核标准指衡量各项考评指标得分的基准。
12.选用教材和主要参考书要求注明作者、书目、出版社、出版年份。
例如，“丹利维
尔：《民主、官僚制组织和公共选择》，中国青年出版社，2001年。
”
13.其它信息指课堂规范要求等，如课上禁止使用手机、缺勤要求等。
14.课程英文类别代号:。
《大数据导论》课程期末复习资料《大数据导论》课程讲稿章节目录：第1章大数据概述（1）大数据的概念（2）大数据的特征（3）大数据的数据类型（4）大数据的技术（5）大数据的应用第2章大数据采集与预处理（1）大数据采集（2）大数据预处理概述（3）数据清洗（4）数据集成（5）数据变换（6）数据规约第3章大数据存储（1）大数据存储概述（2）数据存储介质（3）存储系统结构（4）云存储概述（5）云存储技术（6）新型数据存储系统（7）数据仓库第4章大数据计算平台（1）云计算概述（2）云计算平台（3）MapReduce平台（4）Hadoop平台（5）Spark平台第5章大数据分析与挖掘（1）大数据分析概述（2）大数据分析的类型及架构（3）大数据挖掘（4）大数据关联分析（5）大数据分类（6）大数据聚类（7）大数据分析工具第6章大数据可视化（1）大数据可视化概述（2）大数据可视化方法（3）大数据可视化工具第7章社交大数据（1）社交大数据（2）国内社交网络大数据的应用（3）国外社交网络大数据的应用第8章交通大数据（1）交通大数据概述（2）交通监测应用（3）预测人类移动行为应用第9章医疗大数据（1）医疗大数据简介（2）临床决策分析应用（3）医疗数据系统分析第10章大数据的挑战与发展趋势（1）大数据发展面临的挑战（2）大数据的发展趋势一、客观部分：（单项选择、多项选择）（一）、单项选择1.以下不是NoSQL数据库的是（）A.MongoDBB.HBaseC.CassandraD.DB2★考核知识点:NoSQL与NewSQL主流系统参考讲稿章节：3.7附1.1.1（考核知识点解释）：目前市场上主要的NoSQL数据存储工具有：BigTable、Dynamo 、Hbase、MongoDB、CouchDB、Hypertable还存在一些其他的开源的NoSQL数据库，Neo4j、Oracle Berkeley DB、Apache Cassandra等另外，NewSQL数据库。
大数据分析与处理教程第一章介绍大数据分析与处理大数据分析与处理是指针对海量数据进行处理和分析的技术和方法。
随着互联网技术的发展和数据量的不断增长，大数据分析与处理在各行各业都扮演着重要的角色。
本章将介绍大数据分析与处理的概念、应用领域以及相关技术的发展。
第二章大数据采集与存储大数据分析与处理的前提是对海量数据进行采集和存储。
本章将详细介绍大数据采集的方法和技术，包括传感器网络、网络爬虫等。
同时，也会介绍常用的大数据存储技术，如分布式文件系统和NoSQL数据库等。
第三章大数据预处理大数据的预处理是为了清洗数据、剔除噪音和异常值，以提高后续分析的准确性和可靠性。
本章将介绍大数据预处理的常见技术，如数据清洗、数据转换和数据规约等。
同时，也会介绍一些常用的数据预处理工具和平台。
第四章大数据分析方法大数据分析方法是指为了挖掘隐藏在海量数据中的有价值信息和规律的技术和算法。
本章将介绍大数据分析的常见方法，包括数据挖掘、机器学习和深度学习等。
同时，也会介绍一些常用的大数据分析工具和平台。
第五章大数据可视化大数据的可视化可以将复杂的数据以图表、图像或动态图形的方式展示出来，加深人们对数据的理解和洞察。
本章将介绍大数据可视化的方法和工具，包括数据可视化的原则、设计和实现。
同时，也会介绍一些常用的大数据可视化工具和库。
第六章大数据处理平台大数据处理平台是指用于存储、处理和分析海量数据的软硬件环境。
本章将介绍大数据处理平台的架构和组成部分，包括分布式计算框架、集群管理器和资源调度器等。
同时，也会介绍一些常用的大数据处理平台，如Hadoop、Spark和Flink等。
第七章大数据安全与隐私保护随着大数据的广泛应用，数据安全和隐私保护成为了重要的问题。
本章将介绍大数据安全和隐私保护的挑战和解决方案，包括数据加密、访问控制和隐私保护算法等。
同时，也会介绍一些常用的大数据安全与隐私保护工具和技术。
第八章大数据分析案例研究本章将通过实际案例研究，深入探讨大数据分析与处理在不同应用领域的应用场景和价值。
大数据时代的大数据思维讲义在当今这个数字化、信息化的时代，大数据已经成为了一个热门话题。
无论是企业决策、市场营销，还是医疗健康、城市管理，大数据都在发挥着越来越重要的作用。
然而，要真正充分利用大数据的价值，我们不仅需要掌握相关的技术和工具，更需要具备大数据思维。
什么是大数据思维呢？简单来说，大数据思维就是一种基于数据进行思考和决策的方式，它强调数据的全面性、多样性和实时性，以及对数据的深入分析和挖掘。
首先，大数据思维要求我们摒弃传统的抽样思维，转向全样本思维。
在过去，由于数据收集和处理的困难，我们往往只能通过抽样的方式来获取数据，并基于这些样本进行分析和推断。
但在大数据时代，数据的获取变得更加容易和便捷，我们可以获取到几乎所有相关的数据，从而能够更全面、更准确地了解事物的全貌。
例如，一家电商企业想要了解消费者的购买行为，如果仅仅依靠抽样调查，可能会忽略一些重要的细节和趋势。
但通过对所有用户的购买记录进行分析，就能够发现更多潜在的规律和需求，从而制定更精准的营销策略。
其次，大数据思维注重数据的多样性。
传统的数据分析往往只关注结构化的数据，如数字、表格等。
但在大数据时代，非结构化的数据，如文本、图像、音频、视频等也变得越来越重要。
这些非结构化数据中蕴含着丰富的信息，通过对它们的分析和处理，我们可以获得更深入的洞察。
比如，社交媒体上的用户评论和帖子虽然是非结构化的文本数据，但通过自然语言处理技术，我们可以从中了解用户的情感倾向、关注点和需求，为企业的产品改进和服务优化提供依据。
再者，大数据思维强调相关性而非因果性。
在传统的思维模式中，我们总是试图寻找事物之间的因果关系，以解释现象和做出决策。
然而，在大数据时代，由于数据的复杂性和海量性，有时候很难准确地确定因果关系。
但我们可以通过分析数据之间的相关性，来发现潜在的规律和趋势。
例如，通过分析超市的销售数据，我们可能会发现啤酒和尿布的销售量存在一定的相关性。
《大数据导论》课程期末复习资料《大数据导论》课程讲稿章节目录:第1章大数据概述(1)大数据的概念(2)大数据的特征（3）大数据的数据类型(4）大数据的技术(5）大数据的应用第2章大数据采集与预处理(1）大数据采集(2）大数据预处理概述（3）数据清洗（4）数据集成(5）数据变换（6)数据规约第3章大数据存储（1)大数据存储概述（2）数据存储介质（3）存储系统结构（4）云存储概述(5）云存储技术(6）新型数据存储系统（7）数据仓库第4章大数据计算平台（1）云计算概述（2）云计算平台（3）MapReduce平台（4）Hadoop平台(5）Spark平台第5章大数据分析与挖掘（1）大数据分析概述（2)大数据分析的类型及架构（3)大数据挖掘（4)大数据关联分析（5)大数据分类（6）大数据聚类(7)大数据分析工具第6章大数据可视化（1）大数据可视化概述(2)大数据可视化方法(3）大数据可视化工具第7章社交大数据（1)社交大数据(2）国内社交网络大数据的应用（3)国外社交网络大数据的应用第8章交通大数据（1)交通大数据概述（2）交通监测应用（3)预测人类移动行为应用第9章医疗大数据(1）医疗大数据简介（2）临床决策分析应用(3）医疗数据系统分析第10章大数据的挑战与发展趋势（1)大数据发展面临的挑战(2)大数据的发展趋势一、客观部分:（单项选择、多项选择）（一）、单项选择1.以下不是NoSQL数据库的是（）A.MongoDBB。
HBaseC.CassandraD。
DB2★考核知识点:NoSQL与NewSQL主流系统参考讲稿章节:3.7附1.1。
1（考核知识点解释）：目前市场上主要的NoSQL数据存储工具有：BigTable、Dynamo 、Hbase、MongoDB、CouchDB、Hypertable还存在一些其他的开源的NoSQL数据库，Neo4j、Oracle Berkeley DB、Apache Cassandra等另外,NewSQL数据库。
