数据仓库与数据挖掘的核心技术

SILICONLLEY.姆霎厂

谈数据库及数据库技术

(1.连云港职业技术学院江苏刘闯1王国金2连云港222052.淮海工学院江苏连云港22205)

〔摘要]对数据库的发展进行了简要的介绍，对目前的数据库新技术作比较系统的总结，并且展望数据库的发展趋势。[关锐词]数据库技术中图分类号:TP3文献标识码:A文t编号:1671一7597(2008)0420032一01

一、傲据库发屁纷逮

数据库是以一定的组织方式存储在一起，相互关联而独立于应用程序之外，并能为多个用户所共享的数据集合.随着信息供需关系的变化和信息技术的发展，引起了世界范围内科技情报体系和工作模式的改变，继而促成这种以建立数据库为中心的信息软件服务业的诞生。到目前为止，数据库的发展可以划分为三个阶段:50、60年代，随着计算机的商品化极其推广应

用，在传统的文献工作中开始出现了数据库的概念和技术:70年代以后，非书目数据库日益受到关注，各种指南和参考性数值数据库相继问世，全文数据库开始出现并日渐增多处理脱机检索方式逐渐向联机检索方式转化:80年

代以来，全世界的数据库产业迅猛发展，竞争日益激烈，许多国家都拥有了自主发展的数据库，数据库己成为现代信息社会的重要支柱。

二、几种橄据库技术

(一)井行数据库技术。并行数据库技术包括对数据库的分布管理和并行查询.它通过将一个数据库任务分割成多个子任务的方法由多个处理机

协同完成这项任务，从而极大地提高了事务处理能力，并且通过数据分布可以实现数据的并行1/0操作。它以篙性能、高可用性和高扩充性为目标，充

分利用多处理器平台的并行能力，通过多种并行性，在联机事务处理与决策支持应用两种典型环境中提供快速的响应时间和较高的事务吞吐量。(二)多媒休数据库系统。多媒体数据库的建立与利用有许多关键技

术，而计算机硬件与网络环境、数据压缩、数据模型方法是主要技术条件。多媒体数据库应具备的功能有:能表示和理解多媒体数据，能刻画、管理和表现各种媒体数据的特性和相互关系;具备物理数据独立性和媒体

1 1. 国家信息化体系的6个要素：

（1） 信息资源：信息和材料 能源构成经济社会发展的三大战略资源，三者可以相互转化；

（2） 信息网络：包括计算机网络 电信网 电视网

（3） 信息技术应用：它直接反映了效率 效果 效益

（4） 信息产业：是信息化的物质基础

（5） 信息化人才

（6） 信息化政策 法规等

2. 企业信息化：是指企业以业务流程的优化和重构为基础，在一定深度和广度上利用计算机技术 网络技术和数据库技术，控制和集成化管理企业生产经营活动中的各种信息，实现企业内外部信息的共享和有效利用，以提高企业的经济效益和市场竞争力。

3. 企业信息化常用的几种方法：

（1） 业务流程重构：（企业流程改造的3个核心原则：以流程导向，以顾客为中心，团队式管理）

（2） 核心业务应用

（3） 信息系统建设

（4） 主题数据库

（5） 资源管理

（6） 人力资本投资方法：特别适用于依靠智力和知识生存的企业，如咨询服务 软件开发等

4. 企业资源规划：ERP(enterprise resource planning)是一种融合了企业最佳实践和先进信息技术的新型管理工具。它扩充了MIS(management information system管理信息系统). MRP2(manufacturing resources planning制造资源计划)的管理范围，将供应商和企业内部的采购 生产 销售和客户紧密联系起来。对供应链上的所有环节进行有效管理，实现对企业的动态控制和资源的集成和优化，提升基础管理水平，追求企业资源的合理高效利用。。。。。。。。。。。。。。。。。ERP实质上仍然以MRP2为核心。

5. 客户关系管理（CRM）：(customer relation management)是一种改善企业与客户之间关系的管理机制。CRM由两部分组成：即触发中心和挖掘中心，前者如电话，传真，WEB EMAIL 等；

什么是BI？

商业智能也称作BI，是英文单词BusinessIntelligence的缩写。商业智能的概念最早在1996年提出。当时将商业智能定义为一类由数据仓库〔或数据集市〕、查询报表、数据分析、数据挖掘、数据备份和恢复等局部组成的、以关怀企业决策为目的技术及其应用。目前，商业智能通常被理解为将企业中现有的数据转化为知识，关怀企业做出明智的业务经营决策的工具。那个地点所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和需求商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。而商业智能能够辅助的业务经营决策既能够是操作层的，也能够是战术层和战略层的决策。为了将数据转化为知识，需要利用数据仓库、联机分析处理〔OLAP〕工具和数据挖掘等技术。因此，从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。

图1商务智能的开展

因此，把商业智能瞧成是一种解决方案应该比立恰当。商业智能的要害是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理，以保证数据的正确性，然后通过抽取〔Extraction〕、转换〔Transformation〕和装载〔Load〕，即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此根底上利用适宜的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理〔这时信息变为辅助决策的知识〕，最后将知识呈现给治理者，为治理者的决策过程提供支持。

图2商务智能的原理

BI的选型

要选型，首先要了解目前市场上主流的BI产品：

数据库方面，有DB2、Oracle、SQLServer、Teradata，早先还有专门用于数据仓库的Redbrick〔被IBM收编以后，退出历史舞台〕。

ETL工具上，像Datastage、Powercenter根基上比立主流的，此外，还有许多公司也有自己的ETL产品，例如SAS的ETLServer、BO的DataIntegrator等。

第四章作业

1. 数据仓库的需求分析的任务是什么？P67

需求分析的任务是通过详细调查现实世界要处理的对象（企业、部门用户等），充分了解源系统工作概况，明确用户的各种需求，为设计数据仓库服务。概括地说，需求分析要明确用那些数据经过分析来实现用户的决策支持需求。

2. 数据仓库系统需要确定的问题有哪些？P67、、

（1） 确定主题域

a) 明确对于决策分析最有价值的主题领域有哪些

b) 每个主题域的商业维度是那些？每个维度的粒度层次有哪些？

c) 制定决策的商业分区是什么？

d) 不同地区需要哪些信息来制定决策？

e) 对那个区域提供特定的商品和服务？

（2） 支持决策的数据来源

a) 那些源数据与商品的主题有关？

b) 在已有的报表和在线查询（OLTP）中得到什么样的信息？

c) 提供决策支持的细节程度是怎么样的？

（3） 数据仓库的成功标准和关键性指标

a) 衡量数据仓库成功的标准是什么？

b) 有哪些关键的性能指标？如何监控？

c) 对数据仓库的期望是什么？

d) 对数据仓库的预期用途有哪些？

e) 对计划中的数据仓库的考虑要点是什么？

（4） 数据量与更新频率

a) 数据仓库的总数据量有多少？

b) 决策支持所需的数据更新频率是多少？时间间隔是多长？

c) 每种决策分析与不同时间的标准对比如何？

d) 数据仓库中的信息需求的时间界限是什么？

3. 实现决策支持所需要的数据包括哪些内容？P68

（1）源数据（2）数据转换（3）数据存储（4）决策分析

4．概念：将需求分析过程中得到的用户需求抽象为计算机表示的信息结构，叫做概念模型。

特点：

（1）能真实反映现实世界，能满足用户对数据的分析，达到决策支持的要求，它是现实世界的一个真实模型。

（2）易于理解，便利和用户交换意见，在用户的参与下，能有效地完成对数据仓库的成功设计。

（3）易于更改，当用户需求发生变化时，容易对概念模型修改和扩充。

（4）易于向数据仓库的数据模型（星型模型）转换。