大数据课程列表

《大数据应用基础》课程标准大数据基础二、适用专业大数据技术应用三、课程学时与学分36学时，2学分四、课程性质本课程是大数据技术应用专业的一门专业基础课程，是从事大数据工程技术人员等新职业岗位必须学习的课程，旨在为学生提供大数据应用方面的基础知识，包括大数据概述、大数据处理、大数据存储和大数据应用案例等内容，使学生具备大数据应用的基础理论和实践能力。

本课程开设在第2学期，将为后续学习《互联网数据采集》《数据库技术应用》等课程奠定基础。

五、课程目标通过本课程的学习，能够完成对大数据生产流程绘制，熟悉认知大数据采集、分析、存储、可视化等各种工具和平台，能够厘清大数据与网络技术、物联网、云计算、人工智能的发展关系与发展方向，并通过大数据技术在不同行业产业的案例分析，能够进行大数据存储和分析应用，树立大数据思维，拓展科技素养。

达到以下具体目标：( 一) 素养目标1.坚定拥护中国共产党领导和我国社会主义制度，在习近平新时代中国特色社会主义思想指引下，自觉践行社会主义核心价值观，具有深厚的爱国情感和中华民族自豪感；(培养规格1)2.充分了解大数据行业法规法则，自觉维护行业良好风气；(培养规格2、S—A—2)3.具备数据思维，具备较强的逻辑思维能力； (培养规格3)4.培养学生对大数据应用的认识和理解，以及对大数据应用的价值和影响的思考。

学生需要通过学习大数据基础课程，增强对大数据应用的兴趣和探索欲望，了解大数据对社会、经济、科技等方面的影响，具备良好的职业素养和创新意识。

(培养规格5)5.具有社会责任感，能够传递正确的社会价值，时刻维护国家的荣誉与形象；(培养规格2、S—A—3)6.树立正确的职业观，注意保护数据安全、保障他人隐私，爱岗敬业、德技并修；(培养规格2、S—A—4)7.有自觉学习新一代信息技术的意识，能够主动进行自我知识更新与学习。

(培养规格7、D—A—3)(二)知识目标1.掌握大数据应用的基础知识，包括大数据的概念、特征、处理和存储等方面的知识；(培养规格11)2.了解大数据的技术架构、处理方法和工作流程；(培养规格11)3.掌握大数据存储和管理的基本方法； (培养规格11)4.熟悉大数据相关法律法规，对大数据行业的信息安全形成基础的认知；(培养规格12)5.了解大数据行业基本情况、了解大数据行业应用场景与岗位分工，明确大数据产品形态与技能要求； (培养规格15)6.厘清大数据与网络技术发展、云计算、物联网、人工智能的发展关系与发展方向；(培养规格16)7.了解大数据生产工作流程中应用到的数据采集、存储、可视化、分析等各种工具和平台，掌握基础的工具使用方法和步骤。

《大数据》课程教学大纲课程编号：04224课程名称：大数据英文名称：Big Data课程类型：学科选修课课程要求：选修学时/学分：32/2 （讲课学时：28上机学时：4）适用专业：智能科学与技术一、课程性质与任务大数据分析是智能科学与技术、计算机科学技术等专业的一门学科选修课，该课程涉及各类常用的挖掘与分析方法，提供了从数据准备到统计分析、关联规则建立及集成学习等整个数据分析过程的内容。

本课程全面地介绍了大数据处理相关的基本概念和原理，着重讲述了介绍数据挖掘、分析相关的理论、方法及实现工具。

本课程在教学内容方面着重基本知识、基本理论和基本设计方法的讲解；在培养实践能力方面着重数据分析的基本训练，为学生今后从事大数据的研究与预测打下坚实的基础。

（本课程可支撑毕业要求中的3.3, 7.2, 10.1, 12.2）二、课程与其他课程的联系本课程的先修课程为人工智能基础、机器学习等专业基础课程。

通过对人工智能基础的学习能够掌握智能的算法和搜索技术，通过对机器学习能够了解数据的分类、过滤等方法。

这些先修课程为本课程的讲授打下了基础。

本课程的后续课程包括智能机器人、模式识别等。

通过本课程可为后续课程提供理论与方法实践基础。

三、课程教学目标1.考虑社会、健康、安全、法律、文化以及环境等因素，设计一个能实现预期功能的硬件或软件系统，进行仿真研究或开发出系统原型或实物（支撑毕业要求中的3.3）；2.能够评价智能系统工程实践对环境、社会可持续发展的影响（支撑毕业要求中的7.2）；3.将大数据技术作为重点，以应用为目的，全面介绍大数据的数据挖掘与预测方法。

使学生既能对大数据处理技术有一个全景的把握，又能深入理解和使用大数据进行决策。

4.有不断学习和适应智能科学与技术发展的能力（支撑毕业要求中的12.2）5.了解大数据挖掘与预测分析学科的前沿和最新发展动向，具有跟踪学科发展前沿的意识和文献检索基本技能。

（支撑毕业要求中的10.1）四、教学内容、基本要求与学时分配五、其他教学环节（课外教学环节、要求、目标）大作业：1.对数据挖掘的认识。

NoSQL数据库概述
阐述NoSQL数据库的概念、特点及其与关系型数据库的区别。
主要NoSQL数据库类型
介绍键值存储、列式存储、文档存储和图形存储等主要的NoSQL 数据库类型及其代表产品。
NoSQL数据库应用案例
展示NoSQL数据库在不同领域的应用实例，如MongoDB在Web 开发中的应用、Cassandra在分布式系统中的应用等。
及其在大数据存储中的角色。
HDFS架构与原理
02
详细解析HDFS的架构，包括NameNode、DataNode、Block
等核心概念，以及其高可的基本操作指南，如文件的上传、下载、查看等，并
通过实例演示其用法。
12
NoSQL数据库简介
2024/3/23
数据加密技术
采用先进的数据加密技术，确保数据在传输和存储过程中的安全性 。
隐私保护法规
制定和完善隐私保护法规，规范大数据的收集、存储和使用行为，保 护个人隐私不受侵犯。
2024/3/23
24
数据质量与治理问题
数据质量问题
大数据中存在着大量重 复、错误和不完整的数 据，严重影响数据分析 结果的准确性和可信度 。
2024/3/23
智能能源管理
利用大数据和物联网技术 ，实现能源的智能分配和 优化。
公共安全监控
通过大数据分析，提高城 市公共安全监控和应急响 应能力。
22
06 大数据挑战与未来发展
2024/3/23
23
数据安全与隐私保护问题
数据泄露风险
随着大数据技术的广泛应用，数据泄露事件频繁发生，对企业和个 人隐私造成严重威胁。
10
讲解数据可视化的基本 原理和常用工具，如 Tableau、D3.js等，以 及如何将分析结果以直 观的方式呈现出来。

大数据、云计算系统高级架构师课程学习路线图大数据之Linux+大数据开发篇项目部分大数据之阿里云企业级认证篇大数据之Java企业级核心技术篇大数据之PB级别网站性能优化篇项目部分大数据之数据挖掘\分析＆机器学习篇项目部分大数据之运维、云计算平台篇项目部分c:\iknow\docshare\data\cur_work\javascript：open53kf()课程体系北风大数据、云计算系统架构师高级课程课程一、大数据运维之Linux基础本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm,docker,openstack等众多课程。

因为企业中的项目基本上都是使用Linux环境下搭建或部署的。

1）Linux系统概述2)系统安装及相关配置3）Linux网络基础4）OpenSSH实现网络安全连接5）vi文本编辑器6）用户和用户组管理7）磁盘管理8）Linux文件和目录管理9）Linux终端常用命令10）linux系统监测与维护课程二、大数据开发核心技术- Hadoop 2。

x从入门到精通本课程是整套大数据课程的基石：其一，分布式文件系统HDFS用于存储海量数据,无论是Hive、HBase或者Spark数据存储在其上面；其二是分布式资源管理框架YARN,是Hadoop 云操作系统（也称数据系统），管理集群资源和分布式数据处理框架MapReduce、Spark应用的资源调度与监控；分布式并行计算框架MapReduce目前是海量数据并行处理的一个最常用的框架。

Hadoop 2。

x的编译、环境搭建、HDFS Shell使用，YARN 集群资源管理与任务监控,MapReduce编程，分布式集群的部署管理（包括高可用性HA）必须要掌握的。

1）大数据应用发展、前景2）Hadoop 2。

x概述及生态系统3)Hadoop 2。

x环境搭建与测试1)HDFS文件系统的架构、功能、设计2）HDFS Java API使用3）YARN 架构、集群管理、应用监控4）MapReduce编程模型、Shuffle过程、编程调优1)分布式部署Hadoop2.x2)分布式协作服务框架Zookeeper3）HDFS HA架构、配置、测试4)HDFS 2.x中高级特性5）YARN HA架构、配置6）Hadoop 主要发行版本（CDH、HDP、Apache）1)以【北风网用户浏览日志】数据进行实际的分析 2)原数据采集 3）数据的预处理(ETL） 4)数据的分析处理（MapReduce）课程三、大数据开发核心技术—大数据仓库Hive精讲hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。