第一章 数据仓库与数据挖掘概述(09)2
- 格式:ppt
- 大小:1.66 MB
- 文档页数:38


数据仓库与数据挖掘一、数据仓库数据仓库是指将企业的各类数据集中存储、整合和管理的系统。
它是一个面向主题的、集成的、稳定的、随时间变化的数据集合,用于支持企业决策和分析。
数据仓库的建设和维护需要遵循一定的标准和规范。
1. 数据仓库架构数据仓库的架构是指数据仓库系统的组成和结构。
常见的数据仓库架构包括三层架构和星型架构。
三层架构由数据源层、数据存储层和数据应用层组成。
数据源层负责从各个数据源(如数据库、文件等)抽取数据,数据存储层用于存储和管理数据,数据应用层提供各类决策支持和分析功能。
星型架构由中心事实表和多个维度表组成。
中心事实表包含了业务过程中的关键指标,维度表描述了这些指标的上下文信息。
2. 数据抽取与清洗数据仓库的数据抽取与清洗是指从各个数据源中提取数据,并进行清洗和转换,以适应数据仓库的需求。
数据抽取与清洗的过程需要确保数据的准确性、一致性和完整性。
数据抽取可以通过批量抽取、增量抽取和实时抽取等方式进行。
数据清洗包括数据去重、数据格式转换、数据合并和数据校验等操作。
3. 数据存储与管理数据仓库的数据存储与管理是指将清洗后的数据存储到数据仓库中,并进行管理和维护。
数据存储可以采用关系型数据库、多维数据库或者列式数据库等。
数据管理包括数据的备份与恢复、数据的索引与分区、数据的压缩与加密等操作。
同时,数据的质量管理也是数据存储与管理的重要内容,包括数据的准确性、一致性、完整性和可靠性等方面。
4. 数据查询与分析数据仓库的数据查询与分析是指通过各类分析工具和技术,对数据仓库中的数据进行查询、分析和挖掘,以支持企业的决策和分析需求。
常见的数据查询与分析工具包括在线分析处理(OLAP)、数据挖掘工具、报表工具和可视化工具等。
这些工具可以帮助用户从不同的角度和维度对数据进行多维分析、趋势分析和关联分析等。
二、数据挖掘数据挖掘是指从大量的数据中发现隐藏在其中的有价值的信息和知识的过程。
数据挖掘技术可以帮助企业发现潜在的商机、改进产品和服务、提高决策的准确性和效率。
第一章数据仓库与数据挖掘概述1.数据库与数据仓库的本质差别是什么?答:数据库用于事务处理,数据仓库用于决策分析;数据库保持事务处理的当前状态,数据仓库既保存过去的数据又保存当前的数据;数据仓库的数据是大量数据库的集成;对数据库的操作比较明确,操作数据量少,对数据仓库操作不明确,操作数据量大。
数据库是细节的、在存取时准确的、可更新的、一次操作数据量小、面向应用且支持管理;数据仓库是综合或提炼的、代表过去的数据、不更新、一次操作数据量大、面向分析且支持决策。
6.说明OLTP与OLAP的主要区别。
答:OLTP针对的是细节性数据、当前数据、经常更新、一次性处理的数据量小、对响应时间要求高且面向应用,事务驱动; OLAP针对的是综合性数据、历史数据、不更新,但周期性刷新、一次处理的数据量大、响应时间合理且面向分析,分析驱动。
8.元数据的定义是什么?答:元数据(metadata)定义为关于数据的数据(data about data),即元数据描述了数据仓库的数据和环境。
9.元数据与数据字典的关系什么?答:在数据仓库中引入了“元数据”的概念,它不仅仅是数据仓库的字典,而且还是数据仓库本身信息的数据。
18.说明统计学与数据挖掘的不同。
答:统计学主要是对数量数据(数值)或连续值数据(如年龄、工资等),进行数值计算(如初等运算)的定量分析,得到数量信息。
数据挖掘主要对离散数据(如职称、病症等)进行定性分析(覆盖、归纳等),得到规则知识。
19.说明数据仓库与数据挖掘的区别与联系。
答:数据仓库是一种存储技术,它能适应于不同用户对不同决策需要提供所需的数据和信;数据挖掘研究各种方法和技术,从大量的数据中挖掘出有用的信息和知识。
数据仓库与数据挖掘都是决策支持新技术。
但它们有着完全不同的辅助决策方式。
在数据仓库系统的前端的分析工具中,数据挖掘是其中重要工具之一。
它可以帮助决策用户挖掘数据仓库的数据中隐含的规律性。
数据仓库和数据挖掘的结合对支持决策会起更大的作用。