基于数据仓库技术的决策支持系统的设计与实现

第一章引言1．1 问题的提出我国的电信业，尤其是移动通信业，起步比较晚，但发展非常快，对许多业务的决策和方向的把握都是在摸索中进行的，某些立项缺乏统一意见和充足的科学依据，带有一定程度的盲目性。

另一方面，经过多年运营，积累了庞大的业务数据，如计费中心的计费数据、客服中心的用户信息数据等，这些海量数据中包含着宝贵的经验和商业信息，可以很好地拿来借鉴今后的业务运作。

但是这些数据信息隐藏在庞大、复杂的数据库里面，许多有价值的信息并没有直接表现出来，而是掩盖在无聊的数据后面。

多数情况下，我们不得不用到某些分析工具，以期取得丰富而又客观翔实的商业信息，用于开发更大的市场和提供更完善的服务。

到目前为止，电信业尚无比较完备的分析工具，然而另一方面，电信业又面临着许多急于解决的问题，如：话费流失问题、新业务开展问题、基站分配问题、批价问题等等。

以话费流失为例，我国电信业每年仅此项损失就达数亿元人民币之巨，基本上无法追回。

如何尽快避免或尽量减免这一损失，就显得极为迫切和必须。

在这种背景下，数据仓库技术以及其上的一些分析挖掘工具就应运而生了，如联机分析处理、数据挖掘等等。

决策支持系统（DSS-Decision Support System）是70 年代由美国M.S.Scott Morton 提出，迅速发展起来的新型学科。

决策支持系统是综合利用大量数据，有机组合众多模型（数学模型与数据处理模型等），通过人机交互，辅助各级决策者实现科学决策的系统。

数据仓库DW（Data Warehouse）建立在传统事务型数据库的基础之上，为企业DSS 及数据挖掘系统提供数据源。

它从原事务数据库中将分析型数据与事务型数据相分离，单独存放而形成数据集合。

数据仓库就是要把分散存放在企业各个地方的数据集中到一起，并利用这些数据制定出更好的决策。

联机分析处理 OLAP（On Line Analysis Processing）是数据仓库上的分析应用工具。

它建立在多维数据视图的基础上，主要有在线性和多维分析两个特点。

数据挖掘 DM（Data Mining）是从大量数据中提取出可信的、新颖的、有效的并能被人理解的模式的高级处理过程。

41．2 国外发展现状目前，各大数据库厂商均在数据仓库项目上提出了风格各异、容相似的数据仓库全面解决方案，比较知名的有Oracle、Sybase、Informix、 IBM、NCR、CA 等公司。

Sybase 拥有一个独特而强有力的点对点方案，用来设计、建立和管理数据仓库和数据集市。

各个部门之间通过集中的元数据进行交互，具有完整性、集中性和灵活性等特点。

使用的工具也具有很多优越性能，如Power Designer Warehouse Architect、Power Stage、Adaptive Server IQ、Power Dimensions 等。

Sybase 的解决方案及其组成具有以下特点：快速实现、数据集市与中心仓库的无缝集成、极高的查询速度、高效的数据压缩。

Oracle 提出一个面向决策支持应用的数据仓库解决方案，开发出了Oracle Warehouse Builder、Oracle8i 数据库、Oracle Express 等系列工具，其中Oracle8i直接对分区键值作更新，有利于大量重复操作；还在SQL 引擎建立强大的指令集，如扩展了CUBE 和ROLLUP SQL 操作，支持对表进行抽样查询。

Informix 为促使 IT 专业人员迅速建立和运用数据仓库和数据集市，提供了尖端决策方案套装，这一合成的产品和服务是专为概括高级关键商务分析的决策支持环境设计的。

为关键商务数据仓库提供世界一流的数据仓库产品和服务，及工业领先的工具，包括：Informix 的专家级数据库设计，具有超级的可操作性，伸缩性和广泛性。

为建立和展开分析应用的合成工具，包括数据抽取，转换，清理和装载。

提供了基于ROLAP 的多维数据分析、导向、汇报以及一整套编程工具和APIs。

值得一提的是，Informix 的OLAP 工具METACUBE 在汉化方面做了大量的工作，基本能够满足国用户的需求。

其他公司的解决方案大体类似，只是具体开发工具在功能上有所不同。

这些国外公司的最大特点是各种开发工具齐全，从数据仓库模型设计、数据抽取工具、数据库管理系统到OLAP 分析工具。

用户只需要面对一个厂商就可以获得全部的支持和服务。

而国公司则没有这样的技术优势。

在国，数据仓库刚刚起步，从事这方面研究的学校和公司不多，主要是知识发现（数据挖掘）领域的研究,并且是利用第三方开发工具系统集成，比较知名的有：中青旅尚洋电子技术、亚信德康通信技术、亿阳信通、巨阳科技开发等。

根据数据仓库技术国际著名刊物 DM Review 的评论，有国外一些电信公司采用决策支持通用平台，如新加坡电信，英国电信等。

目前已经在我国设立办事处或代理机构的厂商的产品有：Brio，SAS，Clementine，Business Object，5SPSS，Oracle，Informix，Sybase，Pilot 等，其优点是平台系统而完整，不足之处在于存在本地化问题等，往往需要二次开发，无法直接适应中国电信市场的需要。

1．3 主要工作及成果本文在深入研究数据仓库、数据挖掘技术的基础上，设计并实现了一个DSS系统。

主要完成了以下几个方面的工作：建造了一个数据仓库管理系统，并运用聚类、分类算法和 C5 算法进行用户信用度分析和客户行为特征分析。

提出并实现了一个改进的聚类算法。

传统系统聚类算法仅限于样本聚类，在聚类指标过多并且指标之间存在依赖关系的情况下正确度不高。

本文提出并实现的多重系统聚类算法，将样本聚类与变量聚类结合起来，在不同的指标组上分别聚类，然后进行二次（或多次）聚类，在很大程度上提高了算法的正确度。

6第二章数据仓库技术2．1 基本概念随着 IT 业的发展，业界数据规模的不断扩大。

为了以合理的费用，向任何地点需要数据的人提供高质量的数据，1992 年William H. Inmon 提出了取得广泛认可的数据仓库概念：集成的、面向主题的、随时间变化的不可修改的数据集合。

从上面的定义，我们可以知道，数据仓库首先是一个数据的集合，在这一点上，它与传统意义上的数据库是一致的。

实际在物理上，数据仓库也主要是以关系表的形式实现的。

数据仓库有四大主要特点：面向主题的。

是相对于传统数据库的面向应用而言的。

所谓面向应用，指的是系统实现过程中主要围绕着一些应用或功能。

而面向主题则考虑一个个的问题域，对问题域涉及到的数据和分析数据所采用的功能给予同样的重视。

集成的。

数据仓库中的数据来自各个不同的数据源（操作数据库），由于历史的原因，各操作数据库的组织结构往往是不同的，在这些异构数据载入到数据仓库之前，必须经历一个集成过程，或称为抽取过程。

随时间变化的。

数据仓库以维的形式对数据进行组织，维是数据仓库技术中很重要的一个概念。

通常可以这样理解一个维：维是人们看待事物的一种角度。

维具有层次性。

不可修改的。

与面向应用的事务数据库对数据作频繁的插入、更新操作不同的是，对于数据仓库中数据的操作仅限于数据的初始导入和记录查询。

在数据载入数据仓库之后，一般不允许随意修改。

2．2 数据仓库简介数据仓库是一种结构化的数据环境，为决策支持系统提供数据源。

它可以帮助企业管理者准确了解企业的状况，从而进行预测，制定计划并作出明智的决策。

数据仓库作为整个企业的业务数据集成库，从众多数据源中集成数据，它包含庞大的企业级数据，其实质是由多种技术和服务组成的完整的解决方案。

数据仓库处理的数据与一般的信息系统的数据不同，它来自不同的分散数据源，包括操作数据、历史数据、外部数据等，对这些数据进行提炼和综合，集成到一个单一的关系数据仓库中；对这个集成的数据仓库进行管理，将其规为面7向主题的格式，以便于最终用户进行数据访问和分析。

数据仓库由可操作的外部数据源、一个/多个数据仓库和一个/多个数据分析工具组成。

构造数据仓库，首先要从数据源（如联机信息系统、电子消息等）中抽取、集成、转换、聚合和复制数据，并存储到数据仓库中；然后，这其中的一部分数据再被聚合、复制到数据集市；最后，用户用分析工具创建电子报表，进行查询操作，从而实现决策分析。

2．3 数据仓库的关键技术在技术上可以根据数据的工作过程分为：数据的抽取、存储和管理以及数据的表现三个方面。

在此，我们将分别讨论每一个环节。

2．3．1.数据的抽取数据的抽取是数据进入仓库的入口。

由于数据仓库是一个独立的数据环境，它需要通过抽取程序将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入数据仓库。

数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等几个方面。

数据仓库的数据不要时响应，因此数据抽取可以定时进行，但多个抽取操作执行的时间、相互的顺序、成败对数据仓库息的有效性则至关重要。

目前市场上提供很多数据抽取工具（例如Informix 的ETL---Extract Transform Loader 和Sybase 的Power Stage）。

这些工具通过用户选定源数据和目标数据的对应关系，会自动生成数据抽取的代码。

数据抽取过程涉及数据的转换，但抽取工具支持的数据种类有限；这种情况使得抽取工具往往不能满足要求。

因此，实际的数据仓库实施过程中往往不一定使用抽取工具。

整个抽取过程能否因工具的使用而纳入有效的管理、调度和维护则更为重要。

经过抽取后的数据记录应为格式统一、业务信息完整的数据记录。

2．3．2.存储和管理数据仓库的关键是数据的存储和管理。

数据仓库的组织管理方式决定了它有别于传统数据库的特性，同时也决定了它对外部数据的表现形式。

要决定采用什么产品和技术来建立数据仓库核心，则需要从数据仓库的技术特点着手分析。

数据仓库遇到的第一个问题是对大量数据的存储和管理。

这里所涉及的数据量比传统事务处理大得多，且随时间的推移而累积。

从现有技术和产品来看，只有关系数据仓库系统能够担当此任。

关系数据仓库经过近30 年的发展，在数8据存储和管理方面已经非常成熟。

目前不少关系数据仓库系统已支持数据分割技术，能够将一个大的数据仓库表分散在多个物理存储设备中，进一步增强了系统管理大数据量的扩展能力。

采用关系数据仓库管理数百个GB 甚至到TB 的数据已是一件平常的事情。

数据仓库要解决的第二个问题是并行处理。

在传统联机事务处理应用中，用户访问系统的特点是短小而密集；对于一个多处理机系统来说，能够将用户的请求进行均衡分担是关键，这便是并发操作。

而在数据仓库系统中，用户访问系统的特点是庞大而稀疏，每一个查询和统计都很复杂，但访问的频率并不是很高。

此时系统需要有能力将所有的处理机调动起来为这一个复杂的查询请求服务，将该请求并行处理。