第5章电子商务中的数据仓库技术PPT课件
- 格式：ppt
- 大小：8.28 MB
- 文档页数：93
下载文档原格式
合集下载
数据仓库培训课件
聚类分析
将相似的数据聚集成不同的群体， 如客户分群、市场细分等。
数据展现技术
报表
通过报表展示数据的汇总和分析 结果，如销售报表、财务报告等
。
图表
通过图表展示数据的趋势和关系 ，如折线图、柱状图、饼图等。
可视化大屏
通过可视化大屏展示数据的实时 动态和全局信息，如监控大屏、
指挥中心等。
03
CATALOGUE
案例二：亚马逊的数据仓库实践
背景介绍：亚马逊作为全球最大的在线零售商之一，需要处理海量的销售数据和客户评价数据，为了更好地进行数据分析和 决策，亚马逊建立了自己的数据仓库。
亚马逊的数据仓库实践采用了分布式计算平台，基于Hadoop平台进行构建，处理海量的销售数据和客户评价数据，同时采 用了ETL工具进行数据清洗和整合，建立了自己的数据仓库模型，并进行了数据分析和挖掘，为公司的决策提供了有力的支持 。此外，亚马逊还利用数据仓库进行了客户行为分析，为个性化推荐和精准营销提供了支持。
采用星型模型设计数据仓库，将数据分为事实表和维度表，适用 于快速查询和报表生成。
雪花模型设计
采用雪花模型设计数据仓库，将数据按照层级进行划分，适用于需 要高度扩展和稳定性的系统。
ETL工具的使用
采用ETL工具进行数据抽取、转换和加载，提高数据处理效率和准 确性。
04
CATALOGUE
数据仓库实施
实施步骤
案例四：银行的数据仓库设计
背景介绍：银行作为金融行业的重要机构之 一，需要处理大量的金融交易数据和客户信 息数据，为了更好地进行风险管理和业务决 策，银行进行了数据仓库设计。
银行的数据仓库设计采用了分布式计算平台 ，基于Hadoop平台进行构建，处理大量的 金融交易数据和客户信息数据，同时采用了 ETL工具进行数据清洗和整合，建立了自己 的数据仓库模型，并进行了数据分析和挖掘 ，为风险管理和业务决策提供了有力的支持 。此外，银行还利用数据仓库进行了客户行 为分析，为个性化服务和精准营销提供了支
将相似的数据聚集成不同的群体， 如客户分群、市场细分等。
数据展现技术
报表
通过报表展示数据的汇总和分析 结果，如销售报表、财务报告等
。
图表
通过图表展示数据的趋势和关系 ，如折线图、柱状图、饼图等。
可视化大屏
通过可视化大屏展示数据的实时 动态和全局信息，如监控大屏、
指挥中心等。
03
CATALOGUE
案例二：亚马逊的数据仓库实践
背景介绍：亚马逊作为全球最大的在线零售商之一，需要处理海量的销售数据和客户评价数据，为了更好地进行数据分析和 决策，亚马逊建立了自己的数据仓库。
亚马逊的数据仓库实践采用了分布式计算平台，基于Hadoop平台进行构建，处理海量的销售数据和客户评价数据，同时采 用了ETL工具进行数据清洗和整合，建立了自己的数据仓库模型，并进行了数据分析和挖掘，为公司的决策提供了有力的支持 。此外，亚马逊还利用数据仓库进行了客户行为分析，为个性化推荐和精准营销提供了支持。
采用星型模型设计数据仓库，将数据分为事实表和维度表，适用 于快速查询和报表生成。
雪花模型设计
采用雪花模型设计数据仓库，将数据按照层级进行划分，适用于需 要高度扩展和稳定性的系统。
ETL工具的使用
采用ETL工具进行数据抽取、转换和加载，提高数据处理效率和准 确性。
04
CATALOGUE
数据仓库实施
实施步骤
案例四：银行的数据仓库设计
背景介绍：银行作为金融行业的重要机构之 一，需要处理大量的金融交易数据和客户信 息数据，为了更好地进行风险管理和业务决 策，银行进行了数据仓库设计。
银行的数据仓库设计采用了分布式计算平台 ，基于Hadoop平台进行构建，处理大量的 金融交易数据和客户信息数据，同时采用了 ETL工具进行数据清洗和整合，建立了自己 的数据仓库模型，并进行了数据分析和挖掘 ，为风险管理和业务决策提供了有力的支持 。此外，银行还利用数据仓库进行了客户行 为分析，为个性化服务和精准营销提供了支
数据仓库技术PPT课件( 25页)
像外行一样思考，像专家一样实践
2019/5/31
杭州斯凯网络科技有限公司
かなで たけお
金出 武雄
24
•
5、世上最美好的事是：我已经长大，父母还未老;我有能力报答，父母仍然健康。
•
6、没什么可怕的，大家都一样，在试探中不断前行。
•
7、时间就像一张网，你撒在哪里，你的收获就在哪里。纽扣第一颗就扣错了，可你扣到最后一颗才发现。有些事一开始就是错的，可只有到最后才不得不承认。
8
数据仓库的架构类型
2019/5/31
杭州斯凯网络科技有限公司
9
Oracle数据仓库的架构
2019/5/31
杭州斯凯网络科技有限公司
10
GreenPlum数据仓库的架构
2019/5/31
杭州斯凯网络科技有限公司
11
GreenPlum数据仓库的架构
2019/5/31
杭州斯凯网络科技有限公司
12
2019/5/31
杭州斯凯网络科技有限公司
20
软件物理架构比较
软件物理架构主要特征区别就是行存储和列存 储。这个也是曾经很多厂商津津乐道的地方，根 据需求的不同，2种方式可以灵活采用。
大部分DB软件都是采用行存储，而列存储 的特征在于高效的单列值压缩，在选择列比较少 的时候需要io要求很低，速度很快，不过行存储 的DB目前在压缩效率上也在迅速提升，大部分需 求还是选择行数据进行观察，行存储也更加便于 表的按记录拆分进行并行化。
MapReduce 概念
MapReduce是一种编程模型(并不是google自己开发的 编程工具)，用于大规模数据集（大于1TB）的并行运算。 概念"Map（映射）"和"Reduce（化简）"，和他们的主要 思想，都是从函数式编程语言里借来的，还有从矢量编程 语言里借来的特性。他极大地方便了编程人员在不会分布 式并行编程的情况下,将自己的程序运行在分布式系统上。
电子商务数据库技术-课件
2.内模式
内模式（Internal Schema）又称为存储模式（Storage Schema），是数据库物理结构和存储方式的描述，是数据在 数据库内部的表示方式。
1.3数据库系统结构
3.模式 模式（Schema）是所有数据库用户的公共数据视图，是数据
库中全部数据的逻辑结构和特征的描述。模式不但要描述数据 的逻辑结构，比如数据记录的组成，各数据项的名称、类型、 取值范围，而且要描述数据之间的联系、数据的完整性、安全 性要求。
最优的执行方式，然后向存储管理程序发出命令，使其执行。 存储管理程序的功能是从数据库中获得上层想要查询的数据， 并根据上层的更新请求更新相应的信息。由此可见，查询处理 程序它不仅负责查询，也负责发出更新数据或模式的请求。
1.4 数据库管理系统
3.存储管理程序（Storage Manager） 在简单的数据库系统中，存储管理程序可能就是底层操作系
统的文件系统；但有时为了提高效率，DBMS往往直接控制磁 盘存储器。存储管理程序包括两个部分——文件管理程序和缓 冲区管理程序。
1.4 数据库管理系统
4.事务管理程序（Transaction Manager） 事务管理程序负责系统的完整性。它必须保证同时运行的若
干个数据库操作不互相冲突，保证系统在出现故障时不丢失数 据。事务管理程序要和查询处理程序互相配合，因为它必须知 道当前将要操作的数据，以免出现冲突。为了避免发生冲突， 还可能需要延迟某些操作。事务管理程序也要和存储管理程序 互相配合，因为数据库恢复一般需要一个日志文件，记录每一 次数据的更新，这样即使系统出现故障，也能有效而可靠地进 行恢复。
④数据的组织与存取
⑤事务运行管理 ⑥数据库的维护
1.1 数据库的基本概念
数据仓库基础PPT课件
主题
• 商业智能技术 • 数据仓库与多维模型 • 设计数据仓库 • 设计多维模型
第1页/共40页
商业智能的体系
数据仓库技术
在线分析处理技术
数据挖掘技术
（ Data Warehousing）An（alyOtiLcAaPl P：rOocnelisnseing （Data Mining）
数据整合
） 更加全面数、据深分入析的分析
• 父子维 父子维是基于两个维表列的维度，由维表中的两列来共同定义各个成员的隶属关系。一列称 为成员键列，标识每个成员；另一列称为父键列，标识每个成员的父代。
第23页/共40页
数据仓库设计（二） ——维表
• 普通维
普通维中的层次是根据维表的列而定义的，所以维表中列的定义会直接影响到维度中层次的定义。 设计普通维度的维表必须充分考虑维度的扩展性。
• 单元级别权限： 单元级别的安全权限，可以限定多维数据集中特定单元访问。
• 其它级别权限： 不同OLAP引擎所提供的特属功能的权限。例如，钻取权限等
Jms
包含免数/退库数的列
……
……
第21页/共40页
数据仓库设计（一） ——事实表
• 设计事实表应注意的问题
• 事实表中一般不应包含描述性信息，也不应包含除事实表与维表中间对应的关联字段之外的 任何数据。
• 事实表中的数据应该是经过适当聚合的数据 • 事实表中数据的粒度应该是一致的 • 事实表的设计应该考虑增量数据更新的需要，例如是否需要增加时间戳字段等。
知识发现
集 数 题成据的商各，企业系建业统立数智的面据能历向中技史主心术形体成知系识（灵的查库活多B询指I、维—、导动分—即决态 析B席策、、u报s、快随in表再速机es分s析Int通隐e律ll过藏ig，数的e以n学、c辅e模潜助）型在决发的策现规
• 商业智能技术 • 数据仓库与多维模型 • 设计数据仓库 • 设计多维模型
第1页/共40页
商业智能的体系
数据仓库技术
在线分析处理技术
数据挖掘技术
（ Data Warehousing）An（alyOtiLcAaPl P：rOocnelisnseing （Data Mining）
数据整合
） 更加全面数、据深分入析的分析
• 父子维 父子维是基于两个维表列的维度，由维表中的两列来共同定义各个成员的隶属关系。一列称 为成员键列，标识每个成员；另一列称为父键列，标识每个成员的父代。
第23页/共40页
数据仓库设计（二） ——维表
• 普通维
普通维中的层次是根据维表的列而定义的，所以维表中列的定义会直接影响到维度中层次的定义。 设计普通维度的维表必须充分考虑维度的扩展性。
• 单元级别权限： 单元级别的安全权限，可以限定多维数据集中特定单元访问。
• 其它级别权限： 不同OLAP引擎所提供的特属功能的权限。例如，钻取权限等
Jms
包含免数/退库数的列
……
……
第21页/共40页
数据仓库设计（一） ——事实表
• 设计事实表应注意的问题
• 事实表中一般不应包含描述性信息，也不应包含除事实表与维表中间对应的关联字段之外的 任何数据。
• 事实表中的数据应该是经过适当聚合的数据 • 事实表中数据的粒度应该是一致的 • 事实表的设计应该考虑增量数据更新的需要，例如是否需要增加时间戳字段等。
知识发现
集 数 题成据的商各，企业系建业统立数智的面据能历向中技史主心术形体成知系识（灵的查库活多B询指I、维—、导动分—即决态 析B席策、、u报s、快随in表再速机es分s析Int通隐e律ll过藏ig，数的e以n学、c辅e模潜助）型在决发的策现规
数据库与数据仓库 48页PPT文档
源自511001 数据库 原理
x路 110123 管理信
经济法
3101
经济法基础理论
3
65
– 每位学生只能被安排到31一16个专业，商法 一专个题 专业中2可拥84
1143 陈晨有许多020学204生（金也融学 可能无24学01生） 货币银行理论
3
78
– 每个学生可选修多门课24程02，一门金 课融程工程也学会被许2多学86
7142 沈俊生选修120，202但并企不业管一理定每83个01学生都现必代企 须业选管理修有课3程 80
• 多个字符组成一个词或者一个完整的数字（如 人名或年龄）
• 字段是数据的最小单位 • 也称作域或数据元素
– 记录（Record）
• 由与某个特殊对象或活动有关的所有字段组成。
数据组织的层次
– 文件（File）
• 同一类型的所有记录组成一个文件 • 文件就是与某个特定主题相关的数据记录的集
合。
– 数据库
方式
– 数据仓库支持决策而不是事务处理
• 联机分析处理（OLAP) • 联机事务处理(OLTP)
数据挖掘工具
• Data Mining Tools是用户对数据仓库进 行信息生成的软件工具
• 支持OLAP • 支持决策任务
数据挖掘工具
• 包括：
– 查询与报表工具
• QBE,SQL,报表生成器
– 智能代理
数据仓库
• 数据仓库（Data Warehouse）是信息的逻 辑集合，这些信息来自于许多不同的业 务数据库，并用于支持企业的分析活动 和决策任务
数据仓库
• 数据仓库的特征
– 数据仓库将来自于不同数据库的信息结合在 一起（图5-16）
x路 110123 管理信
经济法
3101
经济法基础理论
3
65
– 每位学生只能被安排到31一16个专业，商法 一专个题 专业中2可拥84
1143 陈晨有许多020学204生（金也融学 可能无24学01生） 货币银行理论
3
78
– 每个学生可选修多门课24程02，一门金 课融程工程也学会被许2多学86
7142 沈俊生选修120，202但并企不业管一理定每83个01学生都现必代企 须业选管理修有课3程 80
• 多个字符组成一个词或者一个完整的数字（如 人名或年龄）
• 字段是数据的最小单位 • 也称作域或数据元素
– 记录（Record）
• 由与某个特殊对象或活动有关的所有字段组成。
数据组织的层次
– 文件（File）
• 同一类型的所有记录组成一个文件 • 文件就是与某个特定主题相关的数据记录的集
合。
– 数据库
方式
– 数据仓库支持决策而不是事务处理
• 联机分析处理（OLAP) • 联机事务处理(OLTP)
数据挖掘工具
• Data Mining Tools是用户对数据仓库进 行信息生成的软件工具
• 支持OLAP • 支持决策任务
数据挖掘工具
• 包括：
– 查询与报表工具
• QBE,SQL,报表生成器
– 智能代理
数据仓库
• 数据仓库（Data Warehouse）是信息的逻 辑集合，这些信息来自于许多不同的业 务数据库，并用于支持企业的分析活动 和决策任务
数据仓库
• 数据仓库的特征
– 数据仓库将来自于不同数据库的信息结合在 一起（图5-16）
数据仓库技术PPT培训资料
数据仓库技术
—信管0701 HT
1
数据仓库技术
✓什么是数据仓库 ✓数据仓库的产生 ✓新一代数据仓库的发展趋势 ✓总结
2
什么是数据仓库
概念
数据仓库概念创始人W.H.Inmon在《建立数据 仓库》一书中对数据仓库的定义是：数据仓库就是 面向主题的、集成的、不可更新的(稳定性)、随时 间不断变化（不同时间）的数据集合，用以支持经 营管理中的决策制定过程、数据仓库中的数据面向 主题，与传统数据库面向应用相对应。
6
• 近几十年来，大量新技术、新思路的涌现出来并 被用于关系型数据库系统的开发和实现：客户/服 务器系统结构、存储过程、多线索并发内核、异 步I/O、代价优化，等等，这一切足以使得关系数 据库系统的处理能力毫不逊色于传统封闭的数据 库系统。而关系数据库在访问逻辑和应用上所带 来的好处则远远不止这些，SQL的使用已成为一 个不可阻挡的潮流，加上近些年来计算机硬件的 处理能力呈数量级的递增，关系数据库最终成为 联机事务处理系统的主宰。
9
新一代数据仓库的发展趋势
• 严格的投资回报率评估 • 整合数据集市 • 增加更多的分析 • CRM与数据仓库后期Internet 的兴起与飞速发展，我 们进入了一个新的时代，大量的信息和数据，迎 面而来，用科学的方法去整理数据，从而从不同 视角对企业经营各方面信息的精确分析、准确判 断，比以往更为迫切,实施商业行为的有效性也比 以往更受关注。
企业数据仓库为通用数据仓库，它既含有大量详细的数据， 也含有大量累赘的或聚集的数据，这些数据具有不易改变 性和面向历史性。
二、操作型数据库（ODS）
操作型数据库既可以被用来针对工作数据做决策支持，又 可用做将数据加载到数据仓库时的过渡区域。
三、数据市集（DataMart）
—信管0701 HT
1
数据仓库技术
✓什么是数据仓库 ✓数据仓库的产生 ✓新一代数据仓库的发展趋势 ✓总结
2
什么是数据仓库
概念
数据仓库概念创始人W.H.Inmon在《建立数据 仓库》一书中对数据仓库的定义是：数据仓库就是 面向主题的、集成的、不可更新的(稳定性)、随时 间不断变化（不同时间）的数据集合，用以支持经 营管理中的决策制定过程、数据仓库中的数据面向 主题，与传统数据库面向应用相对应。
6
• 近几十年来，大量新技术、新思路的涌现出来并 被用于关系型数据库系统的开发和实现：客户/服 务器系统结构、存储过程、多线索并发内核、异 步I/O、代价优化，等等，这一切足以使得关系数 据库系统的处理能力毫不逊色于传统封闭的数据 库系统。而关系数据库在访问逻辑和应用上所带 来的好处则远远不止这些，SQL的使用已成为一 个不可阻挡的潮流，加上近些年来计算机硬件的 处理能力呈数量级的递增，关系数据库最终成为 联机事务处理系统的主宰。
9
新一代数据仓库的发展趋势
• 严格的投资回报率评估 • 整合数据集市 • 增加更多的分析 • CRM与数据仓库后期Internet 的兴起与飞速发展，我 们进入了一个新的时代，大量的信息和数据，迎 面而来，用科学的方法去整理数据，从而从不同 视角对企业经营各方面信息的精确分析、准确判 断，比以往更为迫切,实施商业行为的有效性也比 以往更受关注。
企业数据仓库为通用数据仓库，它既含有大量详细的数据， 也含有大量累赘的或聚集的数据，这些数据具有不易改变 性和面向历史性。
二、操作型数据库（ODS）
操作型数据库既可以被用来针对工作数据做决策支持，又 可用做将数据加载到数据仓库时的过渡区域。
三、数据市集（DataMart）
第5章 电子商务中的数据仓库技术
企业ODS：存在于CIF内部，核心部分是一台大型计算机
这两种ODS分别针对不同的目的而设计。企业ODS 是一个真正的“产业实力”处理器，它能够容纳比WEB ODS多的数据，是一种“全局的”ODS 。Web ODS只 为源于Web服务器内部的事务提供服务，是一种“局部 的”ODS。
利用粒度管理器，ODS可以适应不同级别的数据粒 度（0级、1级、2级）。
数据是通过集成/转化（I/T）程序来提供的， I/T程序也称作抽取、转化、和装载（ETL， Extract,Transform,Load）程序。它们负责将 这些来自许多程序的数据转化为一种统一的格 式和结构，从而将电子商务数据无缝地集成到 企业中来。
2020/11/24
武汉大学信息管理学院
7
2.粒度管理器
2020/11/24
武汉大学信息管理学院
2
5.1.1 CIF组成部分
CIF：企业信息工厂，Corporate Information Factory， CIF基础设施包括以 下组成部分：
因特网（Internet） 企业网站（Corporate Web Site） 防火墙（Firewall） 企业操作型系统（Corporate operational
5
（一）定义WEB环境
WEB环境三要素： Internet 防火墙 网站本身
除了这些外，WEB环境还要包括一些内容：
2020/11/24
武汉大学信息管理学院
6
1.企业操作型系统
企业操作型系统负责运行日常操作,这些操 作通常是在某种媒介上进行。企业操作型系统 主要用来管理事务。消费者或者代理可以直接 提交这些事务。
2020/11/24
武汉大学信息管理学院
14
这两种ODS分别针对不同的目的而设计。企业ODS 是一个真正的“产业实力”处理器，它能够容纳比WEB ODS多的数据，是一种“全局的”ODS 。Web ODS只 为源于Web服务器内部的事务提供服务，是一种“局部 的”ODS。
利用粒度管理器，ODS可以适应不同级别的数据粒 度（0级、1级、2级）。
数据是通过集成/转化（I/T）程序来提供的， I/T程序也称作抽取、转化、和装载（ETL， Extract,Transform,Load）程序。它们负责将 这些来自许多程序的数据转化为一种统一的格 式和结构，从而将电子商务数据无缝地集成到 企业中来。
2020/11/24
武汉大学信息管理学院
7
2.粒度管理器
2020/11/24
武汉大学信息管理学院
2
5.1.1 CIF组成部分
CIF：企业信息工厂，Corporate Information Factory， CIF基础设施包括以 下组成部分：
因特网（Internet） 企业网站（Corporate Web Site） 防火墙（Firewall） 企业操作型系统（Corporate operational
5
（一）定义WEB环境
WEB环境三要素： Internet 防火墙 网站本身
除了这些外，WEB环境还要包括一些内容：
2020/11/24
武汉大学信息管理学院
6
1.企业操作型系统
企业操作型系统负责运行日常操作,这些操 作通常是在某种媒介上进行。企业操作型系统 主要用来管理事务。消费者或者代理可以直接 提交这些事务。
2020/11/24
武汉大学信息管理学院
14
数据仓库的概念与体系结构PPT课件
– 围绕一些主题，如顾客、供应商、产品等 – 关注决策者的数据建模与分析，而不是集中于
组织机构的日常操作和事务处理。 – 排除对于决策无用的数据，提供特定主题的简
明视图。
可编辑课件PPT
7
数据仓库关键特征二——数据集成
• 一个数据仓库是通过集成多个异种数据源 来构造的。
• 关系数据库，一般文件，联机事务处理记录
• 衡量联机事务处理系统的一个重要性能指标是系 统性能，具体体现为实时响应时间(Response Time)
• 特点
– OLTP支持大量并发用户定期添加和修改数据
– 反映随时变化的单位状态，但不保存其历史记录
– 具有复杂的结构。
可编辑课件PPT
33
OLTP系统 VS. OLAP系统比较 (1)
2
什么是数据仓库?
• 数据仓库（Data Warehouse，简写为DW或DWH）
• 数据仓库的定义很多，但却很难有一种严格的定义 – 数据仓库是一个数据库，它与公司的操作数据库分开 维护。 – 允许将各种应用系统集成在一起，为统一的历史数据 分析提供坚实的平台，对信息处理提供支持
• 数据仓库区别于其他数据存储系统 – “数据仓库是一个面向主题的、集成的、随时间而变 化的、不容易丢失的数据集合，支持管理部门的决策 过程.”—W. H. Inmon
13
数据仓库数据库
– 数据仓库系统中的数据库是整个数据仓库系统 的核心，是数据信息存放的地方，对数据提供 存取和检索支持。相对于传统数据库来说，它 突出的特点是对海量数据的支持和快速的检索 技术。
可编辑课件PPT
14
数据抽取工具
– 数据抽取工具把数据从各种各样的存储环境中 提取出来，进行必要的转化、整理，再存放到 数据仓库中。对各种不同的数据存储方式的访 问能力是数据抽取工具的关键，数据转换通常 包括：
组织机构的日常操作和事务处理。 – 排除对于决策无用的数据，提供特定主题的简
明视图。
可编辑课件PPT
7
数据仓库关键特征二——数据集成
• 一个数据仓库是通过集成多个异种数据源 来构造的。
• 关系数据库，一般文件，联机事务处理记录
• 衡量联机事务处理系统的一个重要性能指标是系 统性能，具体体现为实时响应时间(Response Time)
• 特点
– OLTP支持大量并发用户定期添加和修改数据
– 反映随时变化的单位状态，但不保存其历史记录
– 具有复杂的结构。
可编辑课件PPT
33
OLTP系统 VS. OLAP系统比较 (1)
2
什么是数据仓库?
• 数据仓库（Data Warehouse，简写为DW或DWH）
• 数据仓库的定义很多，但却很难有一种严格的定义 – 数据仓库是一个数据库，它与公司的操作数据库分开 维护。 – 允许将各种应用系统集成在一起，为统一的历史数据 分析提供坚实的平台，对信息处理提供支持
• 数据仓库区别于其他数据存储系统 – “数据仓库是一个面向主题的、集成的、随时间而变 化的、不容易丢失的数据集合，支持管理部门的决策 过程.”—W. H. Inmon
13
数据仓库数据库
– 数据仓库系统中的数据库是整个数据仓库系统 的核心，是数据信息存放的地方，对数据提供 存取和检索支持。相对于传统数据库来说，它 突出的特点是对海量数据的支持和快速的检索 技术。
可编辑课件PPT
14
数据抽取工具
– 数据抽取工具把数据从各种各样的存储环境中 提取出来，进行必要的转化、整理，再存放到 数据仓库中。对各种不同的数据存储方式的访 问能力是数据抽取工具的关键，数据转换通常 包括：
数据库和数据仓库技术概述(ppt 61页)
学生数据库 学生情况文件 学生成绩文件
记录
学生1
学号 姓名 性别
9608101 张勇
男
数据项
┅┅
学生n
┅┅ 学号 姓名 性别
┅┅ 9608138 王英
女
图6-4 逻辑数据元素之间的关系
1顺序文件组织
记录1 记录2 记录3 记录4 记录2
图6-5 磁盘顺序文件
2 索引文件
(a)
索引顺序文件
记录地址 A B C D E F G
图6-1 联机事务处理与联机分析处理
6.2 文件组织
6.2.1 文件组织术语和概念
数据项, 记录, 文件, 数据库
数据库
文件 1
文件 2
文件3
记录 1
记录2
记录3
数据项 1
数据项 2
数据项 3
字段
记 录
某个数据库中的一份表文件，该文件存储了选修《管理信息系统》课程的 10级物流专业的同学名单。每列是一个字段，每行为一个记录。 从数据库原理的角度来看，表中反映了“学生”这一类实体集（Entity Set），表中的每一行是该类型中的一个具体的实体，每个实体都具有学号、 姓名、专业名称等属性
6.2.2 数据的物理组织和逻辑组织
存储介质 光盘
硬盘
软盘
物理组织 存储单位 比特（0，1） ↓ 字节 → ↓ 字
技术界面
逻辑组织
数据库 数据库管理系统 → 数据仓库 数据仓库管理系统
字符 ↓ 字段 ↓ 文件 ↓ 数据库 ↓ 数据仓库
信息 使用者
图6-2 信息的物理组织与逻辑组织
6.2.3 文件的组织方式
1. 设计“系和教师关系”的分E-R图 2. 设计“学生和课程关系”的分E-R图 3. 设计“教师与课程关系”的分E-R图 4. 将上述三个分综合，建立学院教学管理总E-R
数据仓库专题讲义PPT公开课(43页)
OLAP的多维数据概念
数据单元。多维数据集的取值称为数据单元。 当在多维数据集的每个维都选中一个维成员以
后，这些维成员的组合就惟一确定了观察变量 的值。
OLAP多维数据分析
1.切片和切块(Slice and Dice)
在多维数据结构中,按二维进行切片,按三维进行切块,可 得到所需要的数据。如在“城市、产品、时间”三维立 方体中进行切块和切片,可得到各城市、各产品的销售情 况。
数据的存储与管理
数据的存储与管理是整个数据仓库系统的核心。 针对现有各业务系统的数据，进行抽取、清理， 并有效集成，按照主题进行组织。数据仓库按照 数据的覆盖范围可以分为企业级数据仓库和部门 级数据仓库（通常称为数据集市）。
OLAP服务器
OLAP服务器对分析需要的数据进行有效集成， 按多维模型予以组织，以便进行多角度、多层 次的分析，并发现趋势。
数据仓库四个特点-相对稳定
操作型数据库中的数据通常实时更新，数据 根据需要及时发生变化。数据仓库的数据主 要供企业决策分析之用，所涉及的数据操作 主要是数据查询，一旦某个数据进入数据仓 库以后，一般情况下将被长期保留，也就是 数据仓库中一般有大量的查询操作，但修改 和删除操作很少，通常只需要定期的加载、 刷新。
2.钻取(Drill)
钻取包含向下钻取(Drill-down)和向上钻取(Drill-up)/ 上卷(Roll-up)操作， 钻取的深度与维所划分的层次相 对应。
数据仓库四个特点-反映历史变化
数据仓库本质
如果说传统数据库系统的要求是快速、准确、安全、 可靠地将数据存进数据库中的话，那么数据仓库的 要求就是能够准确、安全、可靠地从数据库中取出 数据，经过加工转换成有规律信息之后，再供管理 人员进行分析使用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
企业数据仓库（Enterprise Data Warehouse，EDW）位于整个处理过程的 中心。所有数据都曾经存储在企业数据仓 库中，包括：
粒状数据
历史数据
集成数据
企业数据
28.09.2020
武汉大学信息管理学院
9
粒状数据
这是最低的细节级，可以转化为不同的形式和结构。
历史数据
近5年的数据均可以保存，这些数据可用于直接分析。
28.09.2020
武汉大学信息管理学院
2
5.1.1 CIF组成部分
CIF：企业信息工厂，Corporate Information Factory， CIF基础设施包括以 下组成部分：
因特网（Internet） 企业网站（Corporate Web Site） 防火墙（Firewall） 企业操作型系统（Corporate operational
粒度管理器是一种用于对网站数据进行预 处理以便让数据进入CIF的软件。负责组织网 站数据，以便这些数据可以有效应用于整个系 统中。
有些情况下，需要丢弃一些数据，而在另外 一些情况下，则需要合并相似类型的数据，因 此必须谨慎使用粒度管理器，以免破坏数据。
28.09.2020
武汉大学信息管理学院
8
3.企业数据仓库
武汉大学信息管理学院
12
6.可选存储
虽然使用高性能磁盘存储，从技术上对企业数据 仓库意义非常大，但是下列2个因素使得这种 存储并不是最佳方案：
➢ 数据仓库的信息量急剧增加，电子商务中非常明显 ➢ 需要将数据分类：经常使用的数据、很少使用的数据
因此，有必要将EDW开展到高性能磁盘存储以外 的介质上。即：可选二级存储，与高性能磁盘 存储相比，可选存储比较廉价，但存取速度也 较慢。当数据仓库被扩展到二级存储时，数据 可以以最低节级、最高粒度存入数据仓库。
活动？这些行为和活动如何影响总的体系结构和 模型？ 什么是信息和元数据转化语言？XML、HTML和 XHMTL语言如何作用于数据和元数据转化？ 应该如何来处理海量数据？
5
（一）定义WEB环境
WEB环境三要素： Internet 防火墙 网站本身
除了这些外，WEB环境还要包括一些内容：
28.09.2020
武汉大学信息管理学院
6
1.企业操作型系统
企业操作型系统负责运行日常操作,这些操 作通常是在某种媒介上进行。企业操作型系统 主要用来管理事务。消费者或者代理可以直接 提交这些事务。
28.09.2020
武汉大学信息管理学院
13
7.操作型数据存储（ODS）
Web环境中，ODS（Operational Data Store)是CIF 中最重要的结构之一。ODS的特征就是一种能够处理混 合负载的操作系统和数据库管理系统。
两种ODS类型：
Web ODS：存在于Web环境内部，核心部分是一台普通规模的 计算机
6. 探索型数据仓库允许探索者随心所欲 地
7. 进行大量探索处理，而不会对数据仓库 环
8. 境的其他用户造成负面影响。来自 WEB环
9. 境中的数据可以通过起一数据仓库进入 探
10. 索型数据仓库。
11. 探索型数据仓库对WEB用户而言非常
重要，当业务模式发生变化时，探索型 12. 28.09.2020
system） 粒度管理器（Granualrity manager）
28.09.2020
武汉大学信息管理学院
3
企业数据仓库（ Enterprise data warehouse ）
企业数据集市环境（Corporate data mart environment）
探索环境（Exploration environment）
经常需要拥有自己的数据集市的部门： 销售：用于销售报表。 营销：用于确定市场潜力和渗透力。 财务：用于在开支上进行下钻。 会计：用于建立报表和修正。 人力资源：用于满足管理需求。 工程：用于提供产品跟踪。 保险精算：用于风险管理。
28.09.2020
武汉大学信息管理学院
11
5. 探索型数据仓库
数据是通过集成/转化（I/T）程序来提供的， I/T程序也称作抽取、转化、和装载（ETL， Extract,Transform,Load）程序。它们负责将 这些来自许多程序的数据转化为一种统一的格 式和结构，从而将电子商务数据无缝地集成到 企业中来。
28.09.2020
武汉大学信息管理学院
72.粒度管理器企业OS：存在于CIF内部，核心部分是一台大型计算机
这两种ODS分别针对不同的目的而设计。企业ODS 是一个真正的“产业实力”处理器，它能够容纳比WEB ODS多的数据，是一种“全局的”ODS 。Web ODS只 为源于Web服务器内部的事务提供服务，是一种“局部 的”ODS。
利用粒度管理器，ODS可以适应不同级别的数据粒 度（0级、1级、2级）。
集成数据
这种数据是消除了应用偏差的数据。
企业数据
通常包括这些数据：易于访问，易于修改。
28.09.2020
武汉大学信息管理学院
10
4.企业数据集市环境
企业数据仓库包含了一些粒度非常小而非 常详细的数据。一个组织内的不同部门需要根 据特定需要查看不同形式组织的数据。这样就 要建立物理上独立的数据库——数据集市。
可选存储/近线存储环境（Alternative storage/near line storage environment）
企业操作型数据存储环境（Corporate operational data store）
28.09.2020
武汉大学信息管理学院
4
28.09.2020
武汉大学信息管理学院
28.09.2020
武汉大学信息管理学院
14
28.09.2020
武汉大学信息管理学院
15
28.09.2020
武汉大学信息管理学院
16
28.09.2020
武汉大学信息管理学院
17
（二）定义电子商务体系结构需求
什么是电子商务基础设施 什么是点击流数据 在web用户与网站交互过程中发生了什么行为和
第5章 电子商务中的 数据仓库技术
主要内容：
CIF与电子商务 识别电子商务用户 电子商务与企业数据的整合 数据仓库在电子商务中的应用、探索与变化
28.09.2020
1
5.1 CIF和电子商务
本节主要内容： CIF的组成部分 定义电子商务体系结构需求 理解点击流数据 利用元数据转化语言来解释信息 理解CIF和电子商务接口