大数据导论思维、技术与应用教学大纲

《大数据技术导论》课程教学大纲TechnoIogy of Cloud Computing and Big Data一、课程基本情况课程编号：课程类别：专业基础课课程学分：3学分课程总学时：48学时，其中讲课：32学时，实验（含上机）：16学时课程性质：考试开课学期：第1学期先修课程：大学生计算机基础适用专业：大数据技术、计算机应用技术、人工智能技术应用相关专业教材：大数据技术导论（第2版），程显毅任越美主编，机械工业出版社，2022.8 开课单位：计算机科学与技术学院二、课程性质、教学目标和任务《大数据技术导论》课程是计算机应用技术专业、大数据技术专业、人工智能技术应用专业必修的一门基础课程，具有很强的实践性和应用性。

主要培养学生大数据平台运维、大数据分析和数据可视化基本思想和基本技能，为后续的数据挖掘应用性课程和数据产品开发课程的学习打好编程基础。

本课程设置的目的是通过对Hadoop, HDFS, MapReduce, HBase, Hive的学习，较好地训练学生大数据平台运维、数据分析和数据展现，使学生具有数据分析和数据展现的能力，为培养学生有较强数据开发能力打下良好基础。

本课程的思政目标1）理解全量思维源自量变到质变，大事业都是从点滴小事情积累起来的。

2）理解相关思维是善于抓机遇，良机只有一次，错过就不再来。

3）理解容错思维源理解和大度，学习别人的优点，完善自身。

4）理解数据分析源自发现人生价值，在有限生命中实现无限价值的人生。

5）理解数据敏感源自用数据讲故事，用数据展现祖国的发展，感受祖国的强大。

6）理解分布式处理源自协作，合作可以充实你的人生。

7）理解数据清洗源自质量第一，保证在激烈竞争中利于不败之地。

8）理解业务理解源自知己知彼，莫愁前路无知己，天下谁人不识君。

9）理解数据安全源自责任重于泰山，少年智则国智，少年强则国强。

10）理解大数据让世界变得透明源自自知者明，最难了解的自己。

三、教学内容和要求1.概论（8学时）（1）了解大数据技术产生的历史必然；（2）理解大数据的特征；（3）理解大数据生命周期；（4）理解大数据、云计算、物联网之间的相互关系；（5）了解大数据带来的变革；（6）理解大数据思维的基本原理；(7)理解数据的价值；(8)熟练安装部署虚拟机；(9)掌握LinUX常用操作;目的：通过上述知识的学习，使学生了解大数据基本概念、特征、思维、工具和技术。

大数据导论教学大纲20xx年xx月前言一、大纲编写依据《大数据导论》是一门通识课程，也是数据科学与大数据专业的必要先修课程，面对大一学生开设。

通过该课程学习，让学生了解大数据专业的内涵特点、大数据与社会经济发展的关系以及大数据的主要学科知识和课程体系。

同时培养学生大数据处理问题的思维，引导学生认知大数据技术。

要求学生了解学习大数据需要掌握的基础技术知识，熟悉海量数据处理的基本流程以及与之匹配使用的主要技术和工具。

通过本课程的学习，加深学生对大数据的认识，并为后续专业课程打下良好基础。

二、课程目的1、知识目标通过课程学习让学生掌握大数据的概念和基本特征、理清大数据、云计算与人工智能的关系，了解大数据与社会各领域的应用关系。

并就大数据硬件架构和处理流程及相关技术与工具介绍，让学生了解数据预处理，Hadoop、Spark、Strom、数据存储及数据分析等技术，为后续相关课程做铺垫，让不同专业学生可选择不同方向继续大数据的深入学习。

2、能力目标(1) 实践能力通过本课程的学习，培养自我学习和自我设计的意识和能力；培养数据搜集、加工处理和分析的能力；通过合作学习培养沟通交往、团队协作等能力。

(2) 创新能力通过学习大数据产生促进新应用、新技术、新工具的产生，培养学生的创新精神，在什么情况下可以尽快抓住机会，促进学生将大数据与生活结合起来，培养使用大数据技术解决问题的思维。

三、教学方法1、课堂教学(1) 讲授本课程的教学内容以讲授为主，讲授的主要内容有大数据的基本概念和基本特征、大数据行业必备基础知识、数据采集与预处理方法、大数据存储与管理、大数据计算框架、数据存储技术、数据分析技术，以及大数据与热门行业云计算和人工智能的结合。

根据教学大纲的要求，突出重点和难点。

(2) 教师指导下的学生自学指导学生自主学习大数据热门技术网络爬虫、Hadoop、Spark及Strom。

教师通过给出一些相关的实例帮助学生理解和进行程序设计，并布置相应的习题让学生进行练习。

《大数据导论》,林子雨编著教学大纲本课程是一门介绍大数据概念、技术和应用的导论课程。

学生将在此课程中了解大数据的定义、特点、处理方法、分析技术和应用场景。

通过本课程的学习，学生将掌握大数据的基本概念和技术知识，以及了解大数据在不同领域的应用和发展趋势。

二、课程教学目标本课程旨在帮助学生：1.理解大数据的概念和特点；2.掌握大数据的处理方法和分析技术；3.了解大数据在不同领域的应用场景；4.了解大数据的发展趋势和未来发展方向。

三、课程内容本课程的主要内容包括以下几个方面：1.大数据概念和特点；2.大数据处理方法和技术；3.大数据分析技术和应用；4.大数据在不同领域的应用场景；5.大数据的发展趋势和未来发展方向。

四、教学方法本课程采用多种教学方法，包括讲授、互动讨论、案例分析、课程设计等，以帮助学生深入理解大数据概念、技术和应用。

五、考核方式本课程的考核方式主要包括平时成绩和期末考试成绩。

平时成绩包括课堂表现、作业完成情况等；期末考试成绩占总成绩的70%左右。

六、教材参考书目1.《大数据时代》雷颐著2.《大数据的互联世界》马化腾著3.《大数据技术与应用》吴军著4.《大数据导论》林子雨编著5.《大数据分析与挖掘技术》刘洋著七、教学进度安排第一周：课程介绍、大数据概念和特点第二周：大数据处理方法和技术第三周：大数据分析技术和应用第四周：大数据在不同领域的应用场景第五周：大数据的发展趋势和未来发展方向第六周：总结与复习八、备注本课程的教学内容和进度安排仅供参考，实际教学中可根据学生情况进行适当调整。

大数据技术原理与应用教学大纲一、课程介绍本课程主要介绍大数据技术的基本原理和常见应用。

学生将通过本课程掌握大数据处理的基本方法与技术，了解大数据在不同领域的应用案例，并能够使用相关工具和技术进行大数据处理和分析。

二、课程目标1.理解大数据的基本概念、背景和发展趋势。

2.掌握大数据处理的基本方法和技术，包括数据获取、存储、处理、分析和可视化等。

3.了解大数据在不同领域的应用案例，包括商业、金融、医疗、社交网络、智能交通等。

4. 学习使用大数据处理和分析的相关工具和技术，如Hadoop、Spark、SQL、Python等。

三、教学内容1.大数据概述1.1大数据定义和特点1.2大数据的发展背景和趋势2.大数据处理方法2.1数据获取与清洗2.2数据存储与管理2.3数据处理与分析2.4数据可视化与展示3.大数据应用案例3.1商业与金融领域的大数据应用3.2医疗与健康领域的大数据应用3.3社交网络与推荐系统的大数据应用3.4智能交通与城市管理的大数据应用4.大数据处理与分析工具与技术4.1 Hadoop与MapReduce4.2 Spark与分布式计算4.3SQL与关系型数据库4.4 Python与数据分析5.大数据安全与隐私保护5.1大数据安全的挑战与问题5.2大数据隐私保护的方法与技术四、教学方法1.理论课讲授：通过课堂讲解，介绍大数据的基本理论知识和相关技术。

2.实验操作：通过实验操作，学生亲自使用大数据处理和分析工具，加深对大数据技术的理解和掌握。

3.案例研究：通过实际的大数据应用案例，引导学生分析和解决实际问题，提高实际应用能力。

五、考核方式1.平时成绩（包括参与讨论、实验报告等）占40%。

2.期末考试占60%。

六、教材与参考资料教材：1.《大数据导论》，王磊著，清华大学出版社。

2. 《Hadoop权威指南》，Tom White著，人民邮电出版社。

参考资料：1. 《Spark快速大数据分析》2. 《Python数据分析实战》3.《数据孤岛》4.《深入理解计算机系统》七、教学进度安排第一周：课程介绍、大数据概述第二周：数据获取与清洗第三周：数据存储与管理第四周：数据处理与分析第五周：数据可视化与展示第六周：商业与金融领域的大数据应用第七周：医疗与健康领域的大数据应用第八周：社交网络与推荐系统的大数据应用第九周：智能交通与城市管理的大数据应用第十周：Hadoop与MapReduce第十一周：Spark与分布式计算第十二周：SQL与关系型数据库第十三周：Python与数据分析第十四周：大数据安全与隐私保护第十五周：复习备考以上为《大数据技术原理与应用教学大纲》的大致内容，主要涵盖了大数据的基本概念、处理方法和应用领域，以及相关工具和技术的学习。

大数据技术原理与应用课程教学大纲课程名称：大数据技术原理与应用课程类型：专业选修课课程学时：60学时课程教学目标：本课程旨在介绍大数据技术的原理和应用，使学生了解大数据技术的基本概念、关键技术和应用场景，并具备基本的大数据技术分析和应用能力。

通过本课程的学习，学生将能够掌握大数据技术的基本原理、企业级大数据技术体系结构、大数据分析方法和工具、大数据应用案例等知识，为学生未来从事大数据相关职业提供良好的基础。

授课内容和教学安排：第一章：大数据技术概述1.1 大数据技术的定义和特点1.2 大数据对社会和企业的影响1.3 大数据技术的发展历程1.4 大数据技术体系结构和组成部分第二章：大数据存储和处理技术2.1 大数据存储技术概述2.2 关系型数据库和NoSQL数据库2.3 Hadoop分布式文件系统2.4 大数据处理技术概述2.5 大数据处理框架：Hadoop MapReduce第三章：大数据挖掘和分析技术3.1 数据挖掘概述3.2 数据预处理和特征选择3.3 分类和聚类算法3.4 关联规则挖掘和推荐系统3.5 大数据分析工具概述：Spark、Flink等第四章：大数据应用实践4.1 电商大数据分析实践4.2 社交媒体数据分析实践4.3 金融数据分析实践4.4 健康医疗数据分析实践第五章：大数据技术发展趋势和展望5.1 大数据技术的发展趋势5.2 大数据技术在人工智能和物联网中的应用5.3 大数据伦理和安全问题教学方法：本课程采用多种教学方法，包括理论讲解、实例分析、案例研究和实践操作等。

通过理论讲解，学生将了解大数据技术的基本概念和原理；通过实例分析，学生将掌握大数据技术在实际场景中的应用方法；通过案例研究，学生将学会分析和解决大数据相关问题；通过实践操作，学生将运用所学知识完成大数据分析任务。

同时，教师将引导学生参与小组讨论和项目实践，促进学生的合作能力和创新思维。

评估方式：本课程的评估方式包括平时成绩和期末考试成绩两部分。

《大数据技术与应用》教学大纲一、课程基本信息1.课程代码：211226002.课程中文名称：大数据技术与应用课程英文名称：Technologies and Applications of Big Data3.面向对象：信息工程学院软件工程系三年级学生4.开课学院(课部)、系(中心、室)：信息工程学院软件工程系5.总学时数：40讲课学时数：24,实验学时数：166.学分数：2.57.授课语种：中文，考试语种：中文8.教材：待定二、课程内容简介课程将系统讲授大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce,流计算、图计算、数据可视化以及大数据在互联网、生物医学和物流等各个领域的应用。

三' 课程的地位、作用和教学目标专业选修课，大数据技术入门课程，为学生搭建起通向“大数据知识空间”的桥梁和纽带，以“构建知识体系、说明基本原理、引导初级实践、了解相关应用”为原那么，为学生在大数据领域“深耕细作”奠定基础、指明方向。

在Hadoop、HDFS> HBase和MapReduce等重要章节，安排了入门级的实践操作，让学生更好地学习和掌握大数据关键技术。

四'与本课程相联系的其他课程先修课程：数据库系统概论、计算机高级语言程序设计五' 教学基本要求(1)能够建立对大数据知识体系的轮廓性认识，了解大数据开展历程、基本概念、主要影响、应用领域、关键技术、计算模式和产业开展，并了解云计算、物联网的概念及其与大数据之间的紧密关系；(2)能够了解Hadoop的开展历史、重要特性和应用现状，Hadoop工程结构及其各个组件, 并熟练掌握Hadoop平台的安装和使用方法；(3)能够了解分布式文件系统的基本概念、结构和设计需求，掌握Hadoop分布式文件系统HDFS的重要概念、体系结构、存储原理和读写过程，并熟练掌握分布式文件系统HDFS 的使用方法；(4)能够了解分布式数据库HBase的访问接口、数据模型、实现原理和运行机制，并熟练掌握HBase的使用方法；（5）能够了解NoSQL数据库与传统的关系数据库的差异、NoSQL数据库的四大类型以及NoSQL数据库的三大基石；基本掌握Redis、MongoDB等NoSQL数据库的使用方法；（6）能够了解云数据库的概念、基本原理和代表性产品的使用方法；（7）能够熟练掌握分布式编程框架MapReduce的基本原理和编程方法；（8）能够了解流计算与批处理的区别，以及流计算的基本原理；（9）能够了解图计算的基本原理；（10）能够了解数据可视化的概念和相关工具；（11）能够了解大数据在互联网等领域的典型应用。

《大数据导论》教学大纲大数据导论教学大纲随着信息技术的迅猛发展，大数据正逐渐成为一个热门话题。

大数据的应用范围涉及到各个领域，包括商业、医疗、金融等，因此对于大数据的理解和应用能力已经成为现代社会中不可或缺的一项技能。

为了培养学生对大数据的认识和理解，大数据导论课程应运而生。

本文将介绍一份《大数据导论》教学大纲，以帮助学生更好地了解和学习大数据。

一、课程简介本课程旨在介绍大数据的基本概念、技术和应用。

通过学习本课程，学生将了解大数据的定义、特点和发展趋势，掌握大数据的采集、存储、处理和分析方法，以及大数据在各个领域的应用案例。

二、课程目标1. 理解大数据的基本概念和特点；2. 掌握大数据的采集、存储、处理和分析方法；3. 了解大数据在商业、医疗、金融等领域的应用案例；4. 培养学生的数据分析和解决问题的能力。

三、教学内容1. 大数据概述- 大数据的定义和特点- 大数据的发展趋势2. 大数据采集与存储- 大数据采集的方法和技术- 大数据存储的技术和工具3. 大数据处理与分析- 大数据处理的方法和技术- 大数据分析的方法和工具4. 大数据应用案例- 大数据在商业领域的应用案例- 大数据在医疗领域的应用案例- 大数据在金融领域的应用案例四、教学方法本课程将采用多种教学方法，包括讲授、案例分析和实践操作。

通过理论与实践相结合的方式，帮助学生更好地理解和应用大数据的知识。

五、考核方式1. 平时成绩：包括课堂参与、作业完成情况等。

2. 期中考试：考察学生对大数据概念和技术的理解。

3. 期末项目：要求学生选择一个领域，应用大数据分析方法解决实际问题，并撰写一份报告。

六、参考教材1. 《大数据导论》（作者：XXX）2. 《大数据分析与应用》（作者：XXX）七、参考资源1. 大数据相关的学术论文和研究报告2. 大数据相关的案例分析和实践经验分享八、课程评价本课程将定期进行学生评价，以了解学生对课程的反馈和改进建议。

《大数据导论》教学大纲一、教学内容1. 大数据的定义：数据、大数据的产生、大数据的种类。

2. 大数据的特性：体量巨大、速度快、类型多。

3. 大数据的应用场景：互联网、金融、医疗、物联网等。

二、教学目标1. 使学生了解大数据的基本概念，理解大数据的产生和种类。

2. 让学生掌握大数据的特性，能够分析不同场景下大数据的应用。

3. 培养学生的数据思维，提高学生解决实际问题的能力。

三、教学难点与重点重点：大数据的基本概念、特性和应用场景。

难点：大数据的特性以及在不同场景下的大数据应用。

四、教具与学具准备教具：多媒体教学设备、投影仪。

学具：笔记本电脑、学习资料。

五、教学过程1. 实践情景引入：以互联网行业为例，让学生思考互联网行业中存在哪些大数据现象。

2. 教材内容讲解：a. 大数据的定义：通过讲解数据、大数据的产生和种类，使学生了解大数据的基本概念。

b. 大数据的特性：详细讲解大数据的体量巨大、速度快、类型多等特性。

c. 大数据的应用场景：分析互联网、金融、医疗、物联网等行业的大数据应用。

3. 例题讲解：以金融行业为例，讲解大数据在金融行业的具体应用。

4. 随堂练习：让学生结合所学内容，分析现实生活中的大数据应用场景。

5. 板书设计：a. 大数据的定义b. 大数据的特性c. 大数据的应用场景6. 作业设计：题目1：请简述大数据的定义、特性和应用场景。

答案1：大数据是指在规模（体量巨大）、速度（速度快）和多样性（类型多）等方面超出传统数据处理软件和硬件能力范围的data。

大数据的特性包括体量巨大、速度快、类型多等。

大数据的应用场景包括互联网、金融、医疗、物联网等。

题目2：请结合所学内容，分析现实生活中的大数据应用场景。

答案2：现实生活中的大数据应用场景包括电商平台的个性化推荐、金融行业的风险控制、医疗行业的疾病预测等。

七、课后反思及拓展延伸本节课通过讲解大数据的基本概念、特性和应用场景，使学生了解了大数据的基本知识。

大数据教学大纲一、引言近年来，随着信息技术的不断发展，大数据已经成为我们生活和工作中不可或缺的一部分。

为了满足社会对专业人才的需求，大数据教育逐渐受到重视。

本教学大纲旨在为大数据教育提供一个详细的教学指南，以确保学生能够全面掌握大数据相关知识和技能。

二、教学目标1. 了解大数据的基本概念和发展趋势；2. 理解大数据的核心技术和方法；3. 掌握大数据分析和挖掘工具的使用；4. 培养学生的数据处理与决策能力；5. 培养学生的团队合作和问题解决能力。

三、教学内容1. 大数据概述1.1 大数据的定义和特点1.2 大数据的发展历程1.3 大数据对社会经济的影响2. 大数据基础知识2.1 数据存储与管理- 分布式文件系统- NoSQL数据库2.2 数据采集与清洗- 数据抓取与爬虫技术- 数据清洗与预处理2.3 数据分析与挖掘- 数据可视化- 数据建模与预测3. 大数据技术框架3.1 Hadoop生态圈- Hadoop分布式存储与计算 - MapReduce编程模型- HDFS与YARN3.2 Spark与大数据处理- Spark核心概念与架构- Spark SQL与流数据处理- Spark机器学习库4. 大数据应用案例4.1 金融领域的大数据应用4.2 零售行业的大数据应用4.3 电子商务的大数据应用五、教学方法1. 理论授课：通过课堂讲解，系统性介绍大数据的基本概念、技术和应用。

2. 实践操作：组织学生进行实际的大数据分析项目，让学生亲自操作和实践，巩固所学知识。

3. 小组讨论：组织学生进行小组讨论，共同解决实际问题和案例，培养团队合作与沟通能力。

六、教学评估1. 期中考试：对学生对于大数据基础概念、技术和工具的理解进行考察。

2. 实践项目评估：根据学生的实际操作能力和项目表现进行评估。

3. 期末论文：要求学生撰写一篇关于大数据应用的论文，评估他们对大数据理论与实践的综合能力。

七、参考教材1. 《大数据导论与应用》作者：李红梅、王小平2. 《大数据技术与应用》作者：张鹏、李建辉3. 《大数据挖掘与分析方法》作者：王亚南、杨新华八、教学资源1. 大数据分析软件：Hadoop、Spark等2. 数据采集与处理工具：Python、R、SQL等3. 数据可视化工具：Tableau、Power BI等九、结语通过本教学大纲，我们旨在培养学生在大数据领域的专业能力和实践能力，帮助他们适应社会发展对大数据专业人才的需求。

一、教学目的与任务(一)教学目的本课程意在普及大数据知识，匡助学生理解大数据时代的现实意义，了解大数据的分析、处理和管理技术，以积极投身于大数据的应用。

(二)教学环节和学时分配大数据导论是一门理论性和实践性都很强的课程，针对计算机、信息管理和其他各专业学生的发展需求，系统、全面地介绍了关于大数据技术与应用的基本知识和技能，详细介绍了大数据与大数据时代、大数据的可视化、大数据的商业规则、大数据时代的思维变革、大数据促进医疗与健康、大数据激发创造力、大数据预测分析、大数据促进学习、大数据在云端、支撑大数据的技术、数据科学与数据科学家、大数据的未来等内容，具有较强的系统性、可读性和实用性。

本课程的教学环节主要有：结合课堂教学方法改革的要求，全书全新设计了课程教学过程，各章的教学过程基本上是：(1) 课前，要求学生认真预习这一章的“导读案例”部份，并认真做好阅读笔记。

(2) 主体：以教学 PPT 辅助，开展本章内容授课教学。

(3)布置本章的“实验与思量”。

(4) 要求学生课后认真“延伸阅读”，拓展学习内容，深入知识内涵。

总学时： 34 其中理论学时： 34 实践学时： 24 (课外)二、教学内容与基本要求(一)引言、大数据与大数据时代(4 课内理论学时＋2 课外实践学时)1.教学内容【导读案例】准确预测地震(1) 课程介绍(2)什么是大数据；(3) 大数据变革思维；(4)大数据的结构类型；(5)大数据的发展。

【实验与思量】了解大数据及其在线支持【延伸阅读】得数据者得天下2.基本要求(1)了解本课程的教学设计；(2)熟悉本课程的基本内容与学习要求；(3)主动完成本章的导读案例、实验与思量和阅读与思量的全部内容。

3.重点与难点(1)重点：在理解本章基本内容的基础上完成课后习作。

(2)难点：阅读理解“延伸阅读”内容及其意义。

(二)大数据的可视化(4 课内理论学时＋2 课外实践学时)1.教学内容(1)数据与可视化；(2)数据与图形；(3)公共数据集；(4)实时可视化；(5)挑战图象的多边性；(6)数据可视化的运用。

《大数据导论》课程教学大纲一、课程基本信息课程代码：20110073课程名称：大数据导论英文名称：Introduction to Big-data课程类别：专业课学时：48学分：3适用对象:针对大数据管理及应用专业本科生。

考核方式：考查先修课程：无二、课程简介“大数据导论”是大数据管理及应用专业本科生的一门专业课程，也是该专业的导入课程，以引导学生对数据科学与大数据技术与应用有一个全面和概括性的了解。

该导论课程不仅应介绍与数据科学与大数据技术相关的内容，也应介绍一些与计算机科学与技术相关的内容。

主要包括数据科学与大数据本科专业知识体系，数据科学与大数据技术应用概况，大数据硬件环境，数据通信与计算机网络，程序、软件与系统，数据采集与存储，数据统计与分析，图形学、图像处理与可视化，人工智能，数据安全，大数据平台、框架及工具。

对该专业相关课程的主要内容进行简单介绍，适度介绍数据科学研究现状、大数据产业的未来及其在各领域的应用。

内容包括数据科学和大数据技术应用两个方面的内容，引导学生分别向数据科学家和数据工程师方向发展。

Introduction to big data is a professional course for undergraduates majoring in big data management and application, as well as an introduction course for the major, so as to guide students to have a comprehensive and general understanding of data science and big data technology and application. The introduction course should not only introduce the contents related to data science and big data technology, but also some contents related to computer science and technology. It mainly includes data science and big data undergraduate professional knowledge system, data science and big data technology application overview, big data hardware environment, data communication and computer network, program, software and system, data acquisition and storage, data statistics and analysis, graphics, image processing and visualization, artificial intelligence, data security, big data platform, framework and tools. This paper briefly introduces the main contents of relevant courses of this major, and moderately introduces the current situation of datascience research, the future of big data industry and its application in various fields. The content includes data science and big data technology application, which guides students to develop towards data scientists and data engineers respectively.三、课程性质与教学目的本课程的重点是要求学生了解数据科学与大数据技术的学科体系，主要课程结构，大致了解主要课程的内容，掌握相关课程中的一些基本概念，为其下步的学习做好准备。

大数据导论1.课程简介本课程的主要目的是让学生了解什么是大数据，大数据的特点，大数据思维，大数据的核心技术，大数据应用，大数据带来的变革，以及大数据面临的挑战，从而使学生对大数据技术和应用有一个初步的了解。

本课程重视演示和实战，以便使学生通过亲身体验来理解和掌握大数据的核心概念。

2.课程安排（74学时：42学时讲课，6学时演示，26学时实验）第一阶段：大数据概述（8+4+0）第一课：（理论：2学时）第一章大数据概述第二课：（理论：2学时）第二章大数据采集第三课：（理论：2学时）第三章大数据预处理第四课：（演示：2学时）演示一：大数据技术演示第五课：（理论：2学时）第四章大数据处理系统第六课：（演示：2学时）演示二：大数据应用演示第二阶段：大数据存储技术（8+0+8）第七课：（理论：2学时）第五章大数据文件系统HDFS第八课：（使用：2学时）实验一：分布式文件系统HDFS使用第九课：（理论：2学时）第六章 NoSQL数据库HBase第十课：（实验：2学时）实验二：列式数据库HBase使用第十一课：（理论：2学时）第七章数据仓库Hive第十二课：（理论：2学时）第七章数据仓库Hive第十三课：（实验：2学时）实验三：HiveQL 命令行的使用第十四课：（实验：2学时）实验四：使用JDBC程序操作数据库第三阶段：大数据处理技术（12+0+10）第十五课：（理论：2学时）第八章大数据批处理Hadoop MapReduce第十六课：（理论：2学时）第八章大数据批处理Hadoop MapReduce第十七课：（实验：2学时）实验五：批处理模式MapReduce应用第十八课：（理论：2学时）第九章大数据快速处理Spark第十九课：（实验：2学时）实验六：内存处理模式Spark应用第二十课：（理论：2学时）第十章大数据实时流计算 Spark Streaming第二十一课：（实验：2学时）实验七：流式处理模式Spark Streaming应用第二十二课：（理论：2学时）第十一章分布式图计算框架 Spark GraphX第二十三课：（实验：2学时）实验八：图处理模式Spark Graph应用第二十四课：（理论：2学时）第十二章大数据随机查询 Spark SQL第二十五课：（实验：2学时）实验九：大数据随机查询Spark SQL使用第四阶段：大数据挖掘技术（14+2+8）第二十六课：（理论：2学时）第十三章大数据挖掘概述第二十七课：（理论：2学时）第十三章大数据挖掘概述第二十八课：（理论：2学时）第十三章大数据挖掘概述第二十九课：（演示：2学时）演示三：数据挖掘应用体验第三十课：（理论：2学时）第十四章大数据挖掘系统 Spark MLlib第三十一课：（实验：2学时）实验十：聚类算法实验第三十二课：（实验：2学时）实验十一：分类算法实验第三十三课：（实验：2学时）实验十二：关联分析算法实验第三十四课：（实验：2学时）实验十三：协同过滤算法实验第三十五课：（理论：2学时）第十五章大数据可视化第三十六课：（理论：2学时）第十六章 Python数据可视化第三十七课：（理论：2学时）第十七章大数据的功能应用场景3.学时分配。

大数据技术导论Introduction of Big Data Technology一、课程基本情况课程类别：专业任选课课程学分：2学分课程总学时：32学时，其中讲课：32学时课程性质：选修开课学期：第6学期先修课程：数据结构，数据库原理，面向对象Java程序设计适用专业：信息工程教材：自编开课单位：电子与信息工程学院，信息工程系二、课程性质、教学目标和任务大数据技术导论课程从大数据的开展与现状入手，面向本科生主要介绍了大数据开发的相关技术，并讨论了大数据技术的具体应用。

重点介绍了工业界流行的SPARK大数据开发平台，讨论了SPARK大数据平台的基本结构和基本原理。

在此基础上，全面剖析如何使用SPARK 进行大数据开发，并配以应用实例。

通过教学使学生全面了解当前大数据技术动态和开展趋势，并可针对自己面临的大数据问题找到可行的解决方案。

三、教学内容和要求1、大数据技术概述（2学时）（1）掌握大数据的定义及特征（2）理解大数据结构类型（3）了解大数据开展史和大数据在各领域的广泛应用（4）初步了解大数据技术架构重点：大数据的定义和特征、大数据结构特征和大数据应用难点：大数据技术架构2、SPARK大数据平台基础（6学时）（1）理解RDD的概念和RDD在SPARK平台中的重要作用（2）理解RDD的变换和行为，了解延后计算的概念（3）掌握SPARK中常见的变换和行为（4）掌握RDD的类型转换方法（5）理解RDD的持久化重点：理解RDD的概念与作用，掌握SPARK中RDD常见的变换和行为难点：理解RDD的变换和行为，理解延后计算的作用和RDD的持久化3、Scala语言基础（4学时）（1）掌握Scala语言的基本语法（2）理解Scala语言的函数式编程风格（3）掌握Scala语言的开发环境与调试方法重点：Scala语言的基本语法，Scala语言的开发环境难点：理解Scala语言的函数式编程风格4、SPARK编程基础（4学时）（1）理解SPARK中的键/值对（2）掌握键/值对的基本变换，如聚集、分组、联合、排序等（3）掌握键值对的数据分割，并理解哪些操作会影响数据分割重点：理解键/值对在SPARK中的作用，掌握键/值对的基本变换难点：理解键/值对的数据分割5、SPARK数据的持久化（4学时）（1）了解基本的数据格式，文本文件、JSON格式等（2）理解序列文件和对象文件（3）掌握SPARK对HadoopHDFS的支持（4）了解SPARK对于NoSQL的支持，弹性检索等概念重点：掌握序列文件的读写，掌握HDFS的读写难点：理解SPARK数据持久化的概念6、SPARK机器学习库MLib的使用（6学时）（1）理解SPARK相对于Map-Reduce适宜于机器学习的优势（2）掌握MLib中常见机器学习算法的使用，如K・Means, ALS等（3）掌握MLib解决典型的数据分析问题，如推荐系统、图像分类等重点：掌握MLib中典型机器学习算法的使用难点：如何应用MLib解决真实的数据分析问题7、SPARK在集群上的部署（4学时）（1）理解SPARK的运行体系结构（2）了解SPARK如何在集群中启动一个任务重点：SPARK的运行体系结构难点：掌握SPARK启动任务的具体流程8、数据科学与数据科学家（2学时）（1）理解数据科学、数据科学家的概念和定义（2）了解数据分析生命周期模型（3）掌握企业创新分析方面的范例重点：数据科学、数据科学家的概念和定义难点：数据分析生命周期模型四、课程考核1、作业等：作业：4次；2、考核方式：开卷考试3、总评成绩计算方式：（平时成绩、实验成绩、期中考试成绩和期末考试成绩等综合计算）五、参考书目1、《学习Spark（影印版）》东南大学出版社；Holden Karau, Andy Konwinski, Patrick Wendell, Matei Zaharia, 2015 年8 月 1 日，第 1 版；2、《Spark高级数据分析（影印版）》东南大学出版社；Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills, 2015 年9 月 1 日，第 1 版；。

大数据导论教学大纲大数据导论教学大纲引言：随着信息技术的飞速发展，大数据已经成为当今社会不可忽视的重要资源。

大数据的应用已经渗透到各个行业和领域，为我们带来了巨大的机遇和挑战。

为了使学生能够全面了解和掌握大数据的基本概念、原理和应用，本课程旨在为学生提供大数据导论的基础知识和技能。

一、大数据的定义与特征1.1 大数据的定义1.2 大数据的特征二、大数据的采集与存储2.1 数据采集技术2.1.1 传感器技术2.1.2 无线通信技术2.1.3 云计算技术2.2 数据存储技术2.2.1 关系型数据库2.2.2 非关系型数据库2.2.3 分布式文件系统三、大数据的处理与分析3.1 数据处理技术3.1.1 批处理技术3.1.2 流式处理技术3.2 数据分析技术3.2.1 数据挖掘3.2.2 机器学习3.2.3 自然语言处理四、大数据的应用与挑战4.1 大数据在商业领域的应用4.1.1 市场营销4.1.2 金融风控4.1.3 客户关系管理4.2 大数据在科学研究中的应用4.2.1 生物医学研究4.2.2 气候变化模拟4.2.3 社会网络分析4.3 大数据面临的挑战4.3.1 隐私与安全问题4.3.2 数据质量问题4.3.3 数据治理问题五、大数据的伦理与法律5.1 大数据的伦理问题5.1.1 隐私保护5.1.2 数据滥用5.1.3 数据偏见5.2 大数据的法律问题5.2.1 数据保护法规5.2.2 数据所有权5.2.3 数据跨境流动六、大数据的未来发展趋势6.1 人工智能与大数据的融合6.2 边缘计算与大数据的结合6.3 区块链技术与大数据的应用结语：通过本课程的学习，学生将全面了解大数据的定义、特征、采集与存储、处理与分析、应用与挑战，以及伦理与法律等方面的知识。

同时，学生还将了解大数据未来的发展趋势，为未来的职业发展做好准备。

通过理论学习和实践操作，学生将培养数据分析和解决问题的能力，为应对信息时代的挑战做好准备。