大数据概论ppt

大数据分析价值：根据Andrew Pole的大数据模 型,Target连锁制订了全新的广告营销方案，结果 Target的孕期用品销售呈现了爆炸性的增长。 Andrew Pole的大数据分析技术从孕妇这个细分顾 客群开始向其他各种细分客户群推广，从Andrew Pole加入Target的2002年到2010年间，Target的 销售额从440亿期”的乱战， 以“更懂中国、更懂中国用户”迅速发展。 发展：即使在Google没有撤离之前p;未来：错过了移动互联网的入口。用户依旧 很多，通过大数据分析做精准广告投放，依旧在 走Google的路。
大数据的价值所在
美国政府推出了“大数据”战略，媲美与当年克林顿政府时代的信息高速公路计划。奥巴马 希望借助大数据来将美国经济带出泥潭。从基础建设、到IT硬件、软件、网络，最后到数据 。 2010年12月，总统行政办公室下属的科技技术顾问委员会 ，信息技术顾问委员会向奥巴马和国会提交了《规划数据未 来》的专门报告，该报告把数据收集和使用的工作，提到了 战略的高度。“如何收集、保存、维护、管理、分析、共享 正在呈指数级增长的数据是我们必须面对的一个重要挑战。 如何保证这些数据现在、将来的完整性和可用性，我们面临 着很多的问题和挑战。如何使用这些数据，则是另外一个挑 战。。。。应对好这些挑战，将引导我们在科研、医疗、商 业和国家安全方面开创新的成功。” 2012年3月29日，奥巴马政府又进一步推进了其“大数据战 略”。奥巴马的高级顾问、总统科学技术顾问委员会的主席 霍尔德伦代表国防部、能源部等6个联邦政府部门宣布，将 投入2亿多美元立即启动“大数据发展研究计划”Big Data Research and Development Initiative，以推动大数据 的提取、存储、分析、共享和可视化。

关系数据库的软件系统。
特点
02
以表格形式存储数据，数据之间存在明确的关联关系，遵循一
定的数据完整性约束。
发展历程
03
从早期的层次数据库到关系数据库，再到现代的分布式数据库
和云数据库。
关系数据库管理系统的功能
数据存储
能够创建和管理关系数据 库，将数据以表格形式存 储在磁盘上。
数据检索
提供查询语言（如SQL） 用于检索、插入、更新和 删除数据。
反规范化设计
为了提高查询性能，适当增加冗余，简化数据操作。
三范式与范式之间的关系
第一范式（1NF）定义了关系的原子性；第二范式（2NF）定义了关系的主键和外键关系 ；第三范式（3NF）定义了关系的非主属性对主属性的独立性。
04
关系数据库管理系统
关系数据库管理系统的概述
定义
01
关系数据库管理系统（RDBMS）是一种用于存储、检索和管理
金融行业
用于银行、证券、保险等 金融机构的数据存储、处 理和分析，支持金融业务 的高效运转。
政府机构
用于政府办公自动化、电 子政务等领域，提高政府 服务效率和信息公开度。
05
数据库技术的发展趋势
大数据时代的数据库技术
大数据处理
随着大数据时代的来临，数据库技术也在不 断发展，以应对海量数据的存储、查询和分 析需求。
数据库设计的步骤
需求分析
收集、分析和整理业 务需求，明确数据需
求和功能需求。
概念设计
使用E-R图等工具，设 计数据库的概念结构
。
逻辑设计
将概念结构转换为逻 辑结构，如关系模型
。
物理设计
确定数据库的存储结 构、索引等物理属性

国开大数据技术概论
国开大数据技术概论是一门介绍大数据技术的课程，旨在帮助学生了
解大数据的基本概念、发展历程和应用场景。

以下是该课程的详细内容：
一、大数据的基本概念
1. 大数据是什么？
大数据是指规模巨大、类型多样、处理复杂的数据集合，通常需要借
助计算机等技术手段进行存储、管理和分析。

2. 大数据的特点有哪些？
大数据具有四个特点：规模性、多样性、价值密度低和处理复杂性。

3. 大数据技术有哪些？
大数据技术包括分布式存储系统、分布式计算框架、机器学习算法等。

二、大数据的发展历程
1. 大数据的起源是什么？
大数据起源于20世纪90年代，当时互联网开始普及，人们开始产生
海量的数字信息。

2. 大数据发展到今天有哪些里程碑事件？
1999年，谷歌发布了PageRank算法；2004年，Hadoop项目启动；2006年，亚马逊推出弹性计算云服务（EC2）；2008年，谷歌发布
了MapReduce论文等。

三、大数据的应用场景
1. 大数据在哪些领域有应用？
大数据在金融、医疗、电商、物流等领域都有广泛的应用。

2. 大数据在金融领域的应用有哪些？
大数据在金融领域的应用包括风险评估、反欺诈、投资分析等。

以上就是国开大数据技术概论的详细内容。

通过学习这门课程，学生
可以了解大数据的基本概念、发展历程和应用场景，从而更好地掌握大数据技术。

图 基 于 聚 类 的 孤 立 点 识 别
1
大数据应用人才培养系列教材
第一章 概论
1 .1 数 据 清 洗 概 述 1.2 数据标准化 1.3 数据仓库
习题
1.2数据标准化
1.2.1 数据标准化概念
● 数据标准化/规范化（Data Standardization/Normalization）是机构 或组织对数据的定义、组织、分类、记录、编码、监督和保护进行标准化 的过程，有利于数据的共享和管理，可以节省费用，提高数据使用效率和 可用性。
● 数据清洗对随后的数据分析非常重要，因为它能提高数据分析的准确 性。但是数据清洗依赖复杂的关系模型，会带来额外的计算和延迟开销， 必须在数据清洗模型的复杂性和分析结果的准确性之间进行平衡。
1.1数据清洗概述
1.1.4 数据清洗流程
● 数据清洗通过分析“脏数据”的产生原因和存在形式，利用数据溯源的 思想，从“脏数据”产生的源头开始分析数据，对数据流经环节进行考察， 提取数据清洗的规则和策略，对原始数据集应用数据清洗规则和策略来发 现“脏数据”并通过特定的清洗算法来清洗“脏数据”，从而得到满足预 期要求的数据。具体而言，数据清洗流程包含以下基本步骤：
大数据应用人才培养系列教材
第一章 概论
1 .1 数 据 清 洗 概 述 1.2 数据标准化 1.3 数据仓库
习题
1.3数据仓库简介
1.3.1 数据仓库定义
● 数据仓库（Data Warehouse, DW）是基于信息系统业务发展需要， 基于传统数据库系统技术发展形成能够并逐步独立出来的一系列新的应用 技术，目标是通过提供全面、大量的数据存储来有效支持高层决策分析。
1.3数据仓库简介
1.3.4 数据仓库相关技术