数据仓-第三章 数据仓库的数据存储与处理 精品

一
图的 同义语 ， 这些 多维视 图是 由多维数据库技 术所支持的 ， 他们 为数据 仓库应 用中所需的计 算和分析提供了技 术基础。 在实 际应用 中 ， Ｌ Ｐ常 常包 括对 数据 的 ＯＡ 相互查询 ，这项活 动发 生在通 过多种途径的一 系列分析之后 ， 底层 细节的进一步挖掘。 如对 ２３ Ｏ Ａ ． Ｌ Ｐ的结构 ＯＡ Ｌ Ｐ结构包括逻辑构件和物理构件 。
２３１ 辑结 构 ＿．逻
ＯＡ Ｌ Ｐ的功能结 构 由三个 服务 构 件组成 ： 数据存储服务 、 Ｌ Ｐ服务 、 ＯＡ 用户描述服 务。在 这种情况下 ，功能结构是 三层的客户机 ／ 务 服 器结构。 ２３ 物 理结 构 ．． ２ 物理结 构包括基 于数据存储技术 的两种方 式： 多维数据存储 和关 系数 据存储 。 多维数 据存储主要有 两种选择 ，即多维数 据存储 于工作站客户端或是 ０ Ａ Ｌ Ｐ服务 器上 。 在第一种情况下 ， 多维数 据存储 于客户 端 ， 它实施胖客户端 ， 用户可 以按范 围来分析 ， 这是 种 漫游选择 ， 只在数据加载至工作站时 ， 网络 才成为瓶颈 。它可能存在 的副作用是操作 的安 全性 和数据 的安全性 。 此选 择具有交通形式 ， 它 将多维数据存储于数据站场一级 ，以便为每一 个工作战配置本地存储和访问所选的多维数据 的子集 。 第二种情况 ，多维数 据存储与 Ｏ Ａ 服务 ＬＰ 组合在一起 。 工作站并不那么胖 了， 它抽取源于 数据仓库的数据 ，然后将其转换为多维数据结 构， 存储于数据站场服务器。 ３数据仓库与 ０ ＡＰ Ｌ 虽然数据仓库和联机 分析 处理 （ Ｐ 这 ０ ） 两个 术语有 时可互换 使用 ，但它们却适 用于通 常称 为决策支持系统或业务智能系统的不同组 件。这些类 型的系统的组件包括一些数 据库和

一
ｈ＾ Ｏ Ｚ 应 用拄丰 ｔ ‘ ＹＺ Ｏ ｇ
（） ｂｉ ｏｏｔ ｘ ｈ ｎ ｅ ｅ ｅ Ｓ 从 ｌ ｒ ｓｆ Ｅｃ ａ ｇ ｒ ｒ ｃ Ｓｖ
维普资讯
一
ＡｌＴ ４ 一 ｐｅｅ ｐｄｃ ｉ ｕ
个数据库． 选择 任务 菜单的 导＾数据 为数据源 并将数据移＾ Ｎ ｒｈ ｎ ｏ ｔ ｗｉｄ数据 ＤＴＳ ０Ｕｒ ｆ １ Ｔｉ １ ） Ｓ Ｃｅ Ｃ０１ｔ Ｃｔ ｔ ａ ｅ
Ｐ五内ｅ ＭＴｒｓ ａＭ件文 ｉ天置 ｒｕ（ ｃＬ数 ａ畔ｒ ｒａＤ ｛和据 ｄｌ） ｏ Ｔ ４Ｆ源 ｓ其Ｓ ）蕞ｄ ｘ他Ｂ ｏｏ． 从ｘ 用平 ｆＰａ ｔ文面 文ｏ Ｈ Ｖ ｉ ｓ
ＯＥ Ｂ 供 穿 ＬＤ 提 程
：
鳙 ． 羹
键 麴豳圈豳豳 瓤 …
１ 毯 ； ． 飘 霞
中 玎开一 个行集含并 棒每一 数 ＾ 源中 据泵＿以＝ Ｔ 据上数据 ｌ 芏Ｄ Ｓ包中充分使用Ａ ｔ ｅ ｃｉ Ｘ脚 ｖ
抽理到数据泵甲 数据泵运行脚五编辑功能 本的功能 使得复杂过程逻辑可以用简单的、 Ｍｉｒｓｆ Ａ ｔ ｅ Ｍｉ ｏ ｏｔ ｉｕ ｌ ａ 可重 ｃｏ ｏｔ ｃｉ Ｘ（ ｃ ｓｆ Ｖｓ ａ Ｂ － ｖ ｒ Ａ ｔｖ Ｘ脚本来表示．当列值通过 ｃｉｅ
单元格衙赋的新值返回到泵丰．并通过高速教 转换列值．图ｌ即戈Ｄ Ｓ的抽取 转换、录 Ｔ 据莺输器发送引目的地，目 士 是 ０Ｌ 人功能表示。 三 Ｅ
２ 解决的方法
Ｄ Ｄ Ｃ Ｓｌ ＢＯ Ｂ Ａ Ｃ１ 分隔符 文件｛Ａ ＣＩ 定 ２ 具体解 ：ＳＩ ． 固 ２ 决方法
关系型数据 Ｔ 还支持非关系型数据游 如 Ｄ Ｓ
文 仁ｅ正 ＦｒＰｄ 本 Ｗ页，ｏｏａｏ 又 ｂ Ｊ ｘ ｒｘ ． ｐｇａ ￣

大数据预处理整体架构
数据 资产
统一的数据视图
数据
传统清洗工具
ቤተ መጻሕፍቲ ባይዱ
分布式并处理模式
清洗 （DataWrangler、InfoSphere QualityStage） （内存计算Spark、批处理MapReduce、流计算Storm）
数据 储存
结构化数据 电子表格和传统的关系型数据库：甲骨文 （Oracle RDBMS)、阿里（RDS)、人大金仓等
Bin的划分方法一般有两种，一种是等高方法，即每个Bin中的元素的个
数相等；另一种是等宽方法，即每个Bin的取值间距（左右边界之差）
相同。
b in 中个 数
b in中个 数
等高bin
属性 值
等宽bin
属性 值
噪声数据处理
例如：
排序后价格：4,8,15,21,21,24,25,28,34
划分为等高度bin： —Bin1：4,8,15 —Bin2：21,21,24 —Bin3：25,28,34
Sqoop和 DataX
数据迁移
非结构化数据 凌潮（云谷）、华为（FusionInsight）、
IBM(BigInsights)、EMC（Pivotal）等
在线（API）
离线
数据
来源
数据采集
数据交换 （贵阳大数据交易所， .）
大数据预处理整体架构
结构化数据可以存储在传统的关系型数据库中 非结构化数据可以存储在新型的分布式存储中 半结构化数据可以存储在新型的分布式NoSQL数据库中
大数据预处理整体架构
结构化数据和非结构化数据之间的数据可以按照数据处理的需求进行迁 移。 比如：为了进行快速并行处理，需要将传统关系型数据库中的结构化数 据导入到分布式存储中，可以利用Sqoop等工具，先将关系型数据库的 表结构导入分布式数据库（Hive），然后再向分布式数据库的表中导入 结构化数据。

数据仓库与数据分析第一、二、三章一、数据处理的类型：1、操作型处理：操作型处理主要完成数据的收集、整理、存储、查询和增、删改操作等，主要由一般工作人员和基层管理人员完成。

2、分析型处理：分析型处理是对数据的再加工，往往要访问大量的历史数据，进行复杂的统计分析，从中获取信息，因此也称为信息型处理，主要由中高级管理人员完成。

操作型数据处理：二、联机事务处理系统（OLTP）的主要功能：对事务进行处理，快速地响应客户的服务要求，使企业的业务处理自动化。

其主要性能指标是事务处理效率和事务吞吐率，每个事务处理的时间越快越好，单位时间能完成的事务数量越多越好。

三、dbms：数据库管理系统。

Dwms:数据仓库管理系统。

OLAP：联机分析处理。

Oltp基于db,olap基于dw。

四、事务：用户定义的一个数据库操作序列，这些操作要么全做、要么全不做，是一个不可分割的工作单元。

在关系数据库中，一个事务可以是一条SQL语句、一组SQL语句或整个程序。

五、事务的ACID性质：1、原子性：事务是一个逻辑工作单元，是一个整体，是不可分割的。

2、一致性：事务在完成时，必须使所有的数据都保持一致状态。

3、隔离性：事务并发执行也能保持原子性和一致性，则是事务的隔离性。

4、持久性：一旦事务成功完成，该事务对数据库所施加的所有更新都是永久的。

六、决策支持系统（DSS）：分析型数据处理的典型。

决策支持系统需要具备的基本功能是建立各种数学模型，对数据进行统计分析，得出有用的信息作为决策的依据和基础。

DSS对数据集成的迫切需要是数据仓库技术出现的最重要动因。

分析型数据处理需要访问大量的当前和历史数据，进行复杂的计算，即需要本部门的数据也会需要其他部门的数据，甚至是竞争对手的数据。

七：操作型数据和分析型数据的区别：操作型数据分析型数据细节的综合的，或提炼的当前数据历史数据可更新（可以update）不更新（不可update，但可insert）操作需求事先可知道操作需求事先不知道完全不同的生命周期生命周期符合SDLC（软件开发生命周期）对性能要求高对性能要求宽松一个时刻操作一单元一个时刻操作一集合事务驱动分析驱动面向业务处理面向分析一次操作数据量大，计算复杂一次操作数据量小，计算简单支持日常操作支持管理需求八、数据分散的原因：1、事务处理应用的分散：OLTP系统一般只需要与本部门业务有关的当前数据，没有包括企业范围内的集成应用。