Chapter8-大数据技术原理与应用-第八章-流计算-pdf

数据库系统的安全机制
8.2 用户标识和鉴别

系统提供一定的方式让用户标识自己的名 字和身份，系统进行核实，通过鉴定后才 提供系统使用权。 常用方法:


通行字认证 数字Байду номын сангаас书认证


智能卡认证
个人特征识别
8.3
存取控制

对于获得上机权的用户还要根据系统预先 定义好的外模式或用户权限进行存取控制， 保证用户只能存取他有权存取的数据。 存取控制机制主要包括两部分：
3．创建用户

若要连接 SQL Server 实例上的特定数据库，登 <用户名>指定在此数据库中 <登录名>指定要为其创建数据库用 录名必须映射到数据库用户。


户的登录名，必须是服务器中的有 用于识别该用户的名称，其 效登录名，当此 SQL Server登录名 数据库内的权限是向数据库用户而不是登录名授 数据类型为 sysname，长度 WITHOUT LOGIN子 进入数据库时，它将获取正在创建 最多是128 个字符。 句指定不将用户映射到 予和收回的。 的这个数据库用户的名称和 ID 现有登录名。 CREATE USER语句的一般格式为：
2．创建登录账号
CREATE LOGIN <登录名> PASSWORD = { 'password' } [，DEFAULT_DATABASE = database ]
2．创建登录账号

【例8.1】创建一个登录名login_test，登录默认数 据库为SaleProduct，密码为123456。
CREATE LOGIN login_test WITH PASSWORD = '123456', DEFAULT_DATABASE = SaleProduct

• 在 TaskTracker 端，以 map/reduce task 的数目作 为资源的表示过于简单，没有考虑到 cpu/ 内存的占
用情况。
• MapReduce 框架在有任何重要的或者不重要的变化
( 例如 bug 修复，性能提升和特性化 ) 时，都会强
制进行系统级别的升级更新。强制让分布式集群系统
的每一个用户端同时更新。
完整最新ppt
26
Hadoop YARN MR调度
完整最新ppt
27
Yarn vs MR 1.0
• MR1.0
–Job Tracker
• 资源管理 • 任务调度、监控
• Yarn
–ResourceManager
• 调度、启动每一个 Job 所属的 ApplicationMaster、另 外监控 ApplicationMaster
完整最新ppt
Cite from Dean and Ghemawat (OSDI 2004)
17
MapReduce并行处理的基本过程
6.主节点启动每个 Map节点执行程序， 每个map节点尽可能 读取本地或本机架 的数据进行计算
7.每个Map节点处理读取的 数据块,并做一些数据整 理工作(combining, sorting 等)并将中间结果存放在 本地；同时通知主节点计 算任务完成并告知中间结 果数据存储位置
• 其中一个开源实现即Hadoop MapReduce
完整最新ppt
15
MapReduce并行处理的基本过程
1.有一个待处理的大 数据，被划分为大 小相同的数据块(如 64MB),及与此相应 的用户作业程序
2.系统中有一个负责调 度的主节点(Master), 以及数据Map和Reduce 工作节点(Worker)

（③元数据Metadata存储：通常是存储在关系数据库如MySQL，Derby中的系统。
（4）底层驱动：包括HiveQL解释器、编译器、优化器、执行器（引擎）。
（5）Hadoop：用HDFS进行存储，利用MapReduce进行计算。
8.1.2 Hive的体系结构 用户接口
第 8 章 数据仓库平台— Hive
因此，Hive的查询也不能保证低延迟。
8.1.1 Hive简介
第 8 章 数据仓库平台— Hive
4
Hive是一个构建于Hadoop顶层的数据仓库，注意这里不是数据库。Hive可
以看作是用户编程接口，它本身不存储和计算数据，它依赖于HDFS和
MapReduce。 Hive是Facebook 2008年8月刚开源的一个数据仓库框架，其系统目标与Pig 有相似之处，但它有一些Pig目前还不支持的机制，比如更丰富的类型系统、更 类似SQL的查询语言、Table/Partition元数据的持久化等。
第 8 章 数据仓库平台— Hive
17
内容导航
8.1 8.2
Hive 任务 Hive的搭建与使用
CONTENTS
8.2 任务二 Hive的搭建与使用
第 8 章 数据仓库平台— Hive
18
在物理服务器上安装XenServer主机软件、在Windows工作站上安装 XenCenter，以及最终如何将两者连接起来，以构成用来创建和运行虚拟机 （VM）的基础结构。
6、登录node2节点机，修改hadoop 用户宿主目录的配置文件 7、把hive目录下的新版jline拷贝到 hadoop目录下
4、编辑配置文件hive-site.xml
8、以hadoop用户登录node2节点机，

Spark生态系统
7
提纲
8.1 Spark简介 8.2 Spark RDD 8.3 Spark集群部署及应用案列 习题 小结
8
8.2 Spark RDD
Spark建立在统一抽象的RDD之上，它可以以基本一 致的方式应对不同的大数据处理场景，包括MapReduce、 Streaming、SQL、Machine Learning以及Graph等。
供Java、Scala、Python和R语言的高阶API接口和优化引擎， 支持通用图形计算；也提供丰富的工具集包括Spark SQL和 结构化数据处理、机器学习、图像处理和流计算。
3
8.1 Spark简介
Apache Spark是大规模数据处理的快速通用引擎， 特点如下：
（1）速度快 Spark比Hadoop MapReduce在内存中的运行速度提升100倍，甚至能 够将应用在磁盘上的运行速度提升10倍。
Spark生态系统
5
8.1 Spark简介
8.1.2 Spark架构
Spark架构采用了分布式计算中的Master-Slave模型。 Spark集群部署后，需要在主节点和从节点分别启动Master 进程和Worker进程，对整个集群进行控制。Spark架构如下 图所示。
Client
Driver SSppaarrkkCCoonntteexxtt
RDD DAG DAGScheduler TaskScheduler
SparkEnv
ClusterManager
Spark生态系统
Worker Executor Task Task
Worker Executor Task Task
6
8.1 Spark简介
Spark的整体流程为：Client提交应用，Master找到一 个Worker启动Driver，Driver向Master或者资源管理器 申 请 资 源 ， 之 后 将 应 用 转 化 为 RDD Graph ， 再 由 DAGScheduler将RDD Graph转化为Stage的有向无环图提 交 给 TaskScheduler ， 由 TaskScheduler 提 交 任 务 给 Executor执行。弹性分布式数据集（RDD, Resilient Distributed Datasets）是Spark框架中的核心概念。 此外，它还具有容错性。

Bolt
Spout
Bolt
Bolt
并行计算实验室
Spout
Bolt
8.1 Storm编程模型Topology
Байду номын сангаас
12.10.2020
8.2.1 Storm编程模型原理
比如，使用Storm处理单词统计的任务（WordCount），该任务的拓扑 如图8.2所示。spout组件负责读取要统计的数据源中的句子，split组件负 责将接收到的句子拆分成单个的单词，把这些单词发送至count组件，cou nt组件负责统计发送过来的单词出现的次数。
并行计算实验室
12.10.2020
8.1 Storm简介
Storm的Topology编程模型简单，在实际任务处理时却很实用。Top ology，实际上就是任务的逻辑规划，包含Spout和Bolt两类组件，Sp out组件负责读取数据，Bolt组件负责任务处理。
与MapReduce相比，它的任务粒度相对灵活，不只局限于Mapreduc e中的Map()和Reduce()函数，用户可以根据任务需求编写自己的函数。
并行计算实验室
12.10.2020
8.1 Storm简介
（2）Storm并行机制灵活。 各个组件的并行数由用户根据任务的繁重程度自行设定，如果该组件处 理的任务复杂度高，耗费时间多，那么并行数目的设置就偏大些，相反 地，并行数目的设置则偏小些。这样，拓扑中的每个组件就能很好地配 合，最大化地利用集群性能，提高任务处理效率。
Storm于2011年9月19号正式开源，实现Storm的语言为一种运行于Java平台 的LISP方言—Clojure。
Storm是很ok、Twitter等平台上得到使用。第三方支付平台支付宝使用St orm来计算实时交易量、交易排行榜、用户注册量等，每天处理的信息超过1亿 条，处理的日志文件超过6TB；团购网站Groupon使用Storm对对实时数据进 行快速数据清洗、格式转换、数据分析；Twitter使用它来处理tweet（用户发 送到Twitter上的信息）。

5.4 NoSQL的四大类型
5.6 从NoSQL到NewSQL 数据库
第二篇 大数据存储 与管理
5 NoSQL数据库
A
5.7 本 章小结
B
5.8 习题
第二篇 大数据存储与管理
6.1 云数据 库概述
6.6 习题
6.2 云数据 库产品
6.5 本章小 结
6.3 云数据 库系统架构
6.4 云数据 库实践
6 云数据库
第二篇 大数据存储与管理
6 云数据库
实验4 熟练使用RDS for MySQL数 据库
03 第三篇 大数据处理与分析
第三篇 大数据处理与分析
A
7 MapRe
duce
D
10 流 计算
B
8 Hadoo p再探讨
E
11 图 计算
C
9 Spark
F
12 数据 可视化
7.1 概 述
7.2 MapReduce 的工作流程
B
5 NoSQL数据库
C
6 云数据库
D
3.1 分 布式文 件系统
3.2 HDFS 简介
3.4 HDFS体 系结构
3.5 HDFS的 存储原理
第二篇 大数据存储与管理
3 分布式文件系统HDFS
3.3 HDFS的 相关概念
3.6 HDFS 的数据读 写过程
第二篇 大 数据存储 与管理
3 分布式文件系统HDFS

01
3.7 HDFS 编程实践
03
3.9 习题Leabharlann 023.8 本章小 结
04
实验2 熟悉 常用的
HDFS操作
4.1 概 述
4.2 HBase访 问接口

在抽取方法上，目前主要采用统计机器学习的方法，将关系实例转换 成高维空间中的特征向量或直接用离散结构来表示，在标注语料库上训练 生成分类模型，然后再识别实体间关系。主要包括基于特征向量方法、基 于核函数方法和基于神经网络方法这3种。
8.3 数据清洗
脏数据是指不一致或不准确数据、陈旧数据以及人为造成的错误数据 等。脏数据主要表现为：拼写问题、打印错误、不合法值、空值、不一致 值、简写、同一实体的多种表示方法（重复）、不遵循引用完整性等。在 现实生活中，脏数据在工业生产、金融、企业管理等社会各行各业中普遍 存在。脏数据直接影响数据的总体质量，进而影响到企业决策的准确性和 成本的投入量，给企业带来的风险和成本追加是不可忽视的。
图8.4 学生简历
一种方法是将半结构化数据化解为结构化数据。这种方法通常是对现 有的简历中的信息进行粗略的统计、整理，在总结出简历中信息所有的类 别的同时，考虑系统真正关心的信息。
图8.5所示为使用结构化表格形式来保存图8.4中的两个简历的数据。
图8.5 使用结构化表格形式保存半结构化数据
另一种方法是用可扩展标记语言（Extensible Markup Language， XML）格式来组织并保存数据到CLOB字段中，将不同类别的信息保存在XML 的不同节点中就可以了。这种方法能够灵活地扩展，在扩展信息时只需更 改对应的DTD（文档类型定义）或者XSD就可以了，但查询效率比较低，要 借助XPath来完成查询统计。但随着数据库对XML支持的提升，查询效率问 题有望得到很好的解决。
为了使数据能够有效地支持组织的日常运作和决策，人们设法提高数 据质量，使数据可靠无误，真实有效。而数据清洗技术的主要任务就是检 测和修复脏数据（消除错误或者不一致的数据），解决数据质量问题。数 据清洗作为提高数据质量的一种重要技术，主要应用于数据仓库、数据挖 掘和全面数据质量管理3个领域。