目录
1 前言 (2)
2 需求分析 (3)
3 对数据仓库的理解 (3)
3.1 什么是数据仓库 (4)
3.1.1 数据仓库架构 (4)
3.1.2 数据仓库的产品构成 (5)
3.2 实现数据仓库的关键技术： (5)
3.3 数据仓库的特点 (5)
3.4 数据仓库的用途 (6)
3.5 数据仓库结构 (6)
3.6 元数据的定义 (7)
3.7 元数据的作用 (7)
3.8 数据源分类 (7)
3.9 数据仓库的重构过程 (7)
3.10 数据管理 (8)
3.11 多维星型模型（S TAR S CHEMA） (8)
4 多维分析技术（OLAP） (9)
4.1 多维分析的数据存储 (9)
4.2 OLAP服务器和工具的功能 (9)
5 数据发掘技术 (10)
5.1 统计分析 (11)
5.2 知识发现 (11)
5.3 知识发现的应用 (11)
5.3.1 分组使用（Clustering） (11)
5.3.2 分类使用（Classification） (13)
5.3.3 数值预测（Value Pridiction） (13)
5.3.4 关联的使用 (13)
5.3.5 顺序模式和顺序序列的使用 (14)
6 怎样实现数据仓库 (15)
6.1 系统的体系结构 (15)
6.1.1 两层体系结构 (15)
6.1.2 三层体系结构 (15)
6.2 系统性能 (16)
6.3 系统的环境 (16)
6.4 安全性和访问控制 (16)
6.5 报表和图表的传输 (16)
6.6 支持代理技术 (16)
6.7 选择数据仓库产品 (17)
6.7.1 IBM 数据仓库方案 (17)
6.7.2 Oracle 数据仓库方案 (17)
6.7.3 Informix 数据仓库方案 (18)
6.7.4 SAS 数据仓库方案 (19)
1前言
数据仓库（Data WareHouse）是目前国内外IT行业和计算机行业中经常出现的“新名词”，它是计算机科学高度发展而产生的一门技术，它为现代化企业管理提供了一套建立科学决策支持系统的解决方案，代表了未来信息处理技术发展的主流。在数据仓库（Data WareHouse）中溶入了大量的当今先进尖端的计算机技术，例如先进的数据库技术、数据存储技术、并行处理技术、数据发掘技术、知识发现技术等技术。
随着信息时代的到来，当今许多企业认识到只有靠充分利用、发掘其现有数据才能实现更大的商业效益。
对电信行业，企业的决策者面对复杂和不断变化的业务、市场和客户需求，需要多角度，多层次、多区域观察问题，需要及时、准确的数据，要求对企业的历史数据进行分析和发掘，以达到科学决策的目标，以解决困扰电信企业的诸多难题——如何对它们进行科学地计费和帐务管理？怎样实现大量数据的动态多维分析？怎样防止客户欺诈消费？怎样制定科学的市场策略和市场促销计划？怎样科学地制定电信各种资费政策？怎样科学分配企业有限的资源并使资源利用率最优？怎样科学地建立企业的全面质量管理体系？根据国内外的成功经验来看，利用先进的计算机技术和工具，先建立计算机计费帐务决策支持系统(DSS)，然后逐步建立全局的决策支持系统(DSS)——被公认为是最好的解决办法。而建立决策支持系统(DSS)的最好办法是采用数据仓库解决方案（Data Warehouse Solution）。
在电信企业的计费帐务中心往往存有多年和大量的客户原始数据和记录，在建立计费帐务决策支持系统之前，无法被转换成可靠的、商用的信息，这些数据价值被忽略了。如果建立计费帐务决策支持系统，从这些数据中可以找出有价值的信息，如效益增长分析，客户消费模式、市场潜力等等，再加上市场分析报告、独立的市场调查、质量评测结果和顾问评估等外来数据时，辅助决策者制定科学的市场策略和市场促销计划，必然产生战略性的价值，然后在此基础上建立全局的决策支持系统，扩大到全面的策略管理、质量管理、企业财产管理和企业全面的效益管理等，从而全面地实现信息管理的科学决策。
建立局部或者全局的决策支持系统有别有普通的生产处理系统(EDP)或信息管理系统（MIS），是一个复杂的动态的过程，成功的关键在于对决策支持的理解和所采用的技术和工具。决策支持处理的对象是数据模型，而不是普通的生产信息管理系统（MIS）所处理的普通数据和对数据的控制。
2需求分析
北京长途电话局帐务中心不仅承担着北京地区长途电话业务计费及各项有关的服务工作，承担全国长途通信计费结算的多项工作，代行电信总局帐务中心的职能，同时还担负着需要向信息产业部，中国电信，北京电信管理局等不同需求的决策者提供不同层次、不同主题的决策信息（如可能是当年或去年甚至多年来历史的、某一时期的、某一项的或多项的长途电话指标的分析）的重任，以辅助他们根据不断变化的各种情况（如市场情况、经济情况等）做出科学的决策。
目前，北京长途电话局帐务中心拥有大量的历史数据，并且业务和数据都在不断的快速增加，希望以这些数据为基础，再加上市场分析报告、独立的市场调查、质量评测结果和顾问评估等外来数据构成北京长途电话局数据信息中心，一方面能够实现实时多维数据分析，一方面能够及时发掘出一些潜在的规律和信息来，为企业的科学决策提供辅助和支持，从而建立企业的智能化的管理模式。
根据以上分析，我们发现目前北京长话局的迫切需要解决的问题：需要一个整体的数据仓库解决方案，使北京长话局能够快速建立一个开放式的具有可动态伸缩结构的决策支持系统，在解决方案中应该包括先进的信息分析和发掘技术，如：联机事物分析（OLAP）、数据发掘技术（Data Mining）等，能够使企业决策者和IT管理人员快捷方便地访问企业的所有资源和信息。
3对数据仓库的理解
我们的目标是建立企业决策支持系统，数据仓库是我们建立企业决策支持系统的解决方案，数据仓库是科学决策的基础。
数据仓库从应用来看，它属于数据库管理系统的应用。经过90年代早期数据仓库的发展，到了目前，数据仓库的发展主流是可视化的分布式的客户/服务器体系结构的数据仓库，建立数据仓库是一项复杂的工程，建立数据仓库必须考虑：
●选用什么样的结构
●开放的系统环境
●元数据的存储
●数据仓库的规模扩展
●数据装入的效率
●处理多维分析
●数据发掘技术
●高端可升级性
●商业视图建模效率
3.1 什么是数据仓库
数据仓库其目的是建立一个企业的智能信息系统，而使企业的决策达到科学决策的目标，保证企业的战略决策的有效性，是企业必须拥有的市场武器，是当今信息管理系统的主流趋势，是一个企业决策支持解决系统的必不可少的部分。它不同于通常的关系数据库，也不同于通常的MIS系统，它把一个单位的历史数据收集到一个中央仓库中以便于处理，是支持决策支持过程的、面向主题的、集成的、随时间变化的、持久的数据集合。
对于一个较完整的数据仓库方案，它应有较合理的结构和较完善的产品线。3.1.1数据仓库架构
作为一个开放式结构，它方便了用户的产品选择、实施和今后的扩展。图中，数据抽取阶段完成对各种数据源的访问，数据转换阶段完成对数据的清洗、汇总和整合等，数据分布阶段完成对结果数据存储的分配。这三个阶段通常紧密结合在一起，集成在一个产品中实现。
3.1.2数据仓库的产品构成
数据仓库可以进行数据映射的定义，以定期地抽取、转换和分布数据，用于数据复制，采用数据复制的方式可避免对日常业务系统事物处理性能的影响。当用户有特殊需求时，可以通过编程接口编程实现或选择第三方厂商的产品
3.2 实现数据仓库的关键技术：
●从不同的数据源的中集成数据和元数据
●数据的清除和提炼
●数据的概括和聚集
●数据源的更新与保持数据仓库的同步
●数据仓库与生产系统如何分配资源
●元数据的管理
3.3 数据仓库的特点
●可以根据用户的观点组织和提供数据，
●它存储当前数据和历史数据，存储容量远远大于普通的生产数据库，
●由概括和聚集机制来对大数据进行分类，在不同粒度、不同层次上管理数据，●数据的存储介质多样化，包容各种各样的数据，如：关系数据库，电子表格，
Xbase 数据库，甚至是平板文件，
●数据仓库中的历史数据信息采用时间戳印记的办法，保持信息的不同的版
本，
●对信息进行概括和聚集，
●在数据仓库管理中管理信息时，将涉及到多个应用程序和多个数据库、多个
系统平台
●数据仓库是存储技术、数据库技术和数据语义技术的集成，
●数据仓库是一个动态的的过程，没有现成可用的数据仓库。
3.4 数据仓库的用途
数据仓库的目的为了管理一个企业所有数据，通过管理数据来帮助一个企业制订发展战略和发展计划，达到稳定增加企业收益的目的，通过它可以构建企业的决策支持系统以实现企业的科学决策的目的，从而使得企业处于良好的运转状态，通过它可以了解市场需求、顾客的需求以及潜在的问题，体现在：
●效益增长分析
●策略管理
●顾客关系管理
●公司财产管理
●全面效益管理
●全面质量管理
3.5 数据仓库结构
数据仓库通过高层抽象和简化，可以描述为：数据管理、元数据管理、传输和基础结构，仓库数据由数据源、数据仓库、数据站场、存取和使用，如图所示
3.6 元数据的定义
通常元数据定义为关于数据的数据，数据库中，是对数据库中各个对象的描述，在关系数据库中，就是对表、列、数据库和其他对象的定义，在数据仓库中，是指数据仓库中所有有意义的对象的，包括表、列、视图，查询、规则、数据转移，数据转换、过滤、求精，业务模型建立及重构等等，是数据仓库的数据索引图。
3.7 元数据的作用
●了解数据仓库或数据站场的名称、描述、正文、价值、版本和来源
●了解数据的内容以及从数据抽取直到放入数据仓库中的过程
●确定数据的位置
●验证数据的可靠性
●数据存取和使用
3.8 数据源分类
●生产数据：存在于各种生产应用系统数据库中的在线数据，可能是关系型的，
非关系型的，或数据文件型的
●遗留数据：脱机或归档的数据，对趋势分析和数据发掘具有极大的历史价值，
须由适当的工具放入数据仓库中
●内部办公数据：是数据的重要来源之一，它可能是非电子数据或是电子数据，
如电子表格，图表，报表，文字文档，年度报表。
●外部数据：企业以外的数据，如行业数据，国家经济指标：物价指标，财经
数据等等
●数据源元数据：描述数据源的数据
3.9 数据仓库的重构过程
检验数据是否满足业务分析和数据发觉的需要，然后根据结果进行必要的调整：
●对多个系统中不同类型的数据进行集成
●按时间顺序分割数据
●对所需数据的推测
●对不同来源数据的转化和标准化
●数据转换的刷新
●重够工程中元数据的范围：
●集成的数据、概括数据、预测的和衍生的数据
●数据的粒度和分割
●数据的转换和规则
●数据源与数据仓库间的映射
3.10 数据管理
●数据的抽取、过滤、求精、重构和存储
●数据的复制、更新和同步
●数据的安全性管理
●数据存取权限
●数据归档与恢复
●数据和索引的物理存放
3.11 多维星型模型（Star Schema）
多维星型模型（Start Schema）是目前数据仓库建模技术中最流行的一种技术，与之相对应的有：多维雪花模型（Snow Schema）、混合型模型。多维星型模型的特点是：事实表与维表之间的关系是星型结构。
4多维分析技术（OLAP）
在数据仓库中，存储数据的目的是为了查询、分析和传送，而OLTP在线事物处理中，数据存储的目的是为了修改和控制。在线多维分析（OLAP）是一种分析处理技术，它从现有的数据中生成新的商业信息，由大量的商业转换和数据计算来实现的，它具有的功能：
●数据的多维逻辑视图
●交互式查询和分析
●提供分析的建模功能
●生成概括数据和聚集、层次，
●支持功能模型，用于预测、趋势分析和统计分析
●多维表格、图形和图形中的数据
●快速的查询响应
●多维数据存储引擎
4.1 多维分析的数据存储
4.2 OLAP服务器和工具的功能
特征和功能
●支持多维和层次
●按单个维和多个维来聚集、概括、预计算和派生数据
●相对一个维或多个维提供计算逻辑、公式和分析
●支持分析模型概念
●提高丰富的库函数，如：财经的，市场的，代数的和统计的等
●强大的计算和比较分析能力，如：分级，比较，归类百分比，最大最小值●平均值等
●进行交叉维计算
●提供时间相关的智能，如：当前日期，各种日历，平均转手率和转手总数
等
访问工具
●电子表格
●私有客户工具
●第三方工具
●4GL环境
●与“非事实标准”的接口，如Visual Basic 和PowerBuilder的应用环境
和OLE,DDE,CORBA等的接口
●支持客户的导航器功能接口，接口应包括：
?访问并抽取基于层次、模型、时间和其他维的数据子集
?用单个抽取请求访问多个级别层次
?“了解”聚集和概括数据，划分方式和索引
?访问关系数据库时，优化特定的关系数据库
OLAP服务引擎
●读写功能：用于交互式的预测和预算
●多用户写功能
●多数据库访问
●定义维分析模型
●生成并维护元数据
●访问控制和权限控制
●从数据仓库和数据站场中的分析模型加载
●协调数据仓库中操作
●各个部件的管理
5数据发掘技术
数据发掘技术就是帮助决策处理大量的数据，找到战略性的信息。它通常划分为三类：统计分析类、知识发现类、可视化分析。
5.1 统计分析
用于检查异常的数据，然后利用统计模型和数学模型来解释这些数据。通常使用的模型有线性分析和非线性分析、连续回归分析和逻辑回归分析，单变量分析和多变量分析，以及时间序列分析。是目前最成熟的数据发掘工具。
5.2 知识发现
源于人工智能和机器学习，它是用一种简洁的方式从数据中寻找隐含的、未知的、有价值的信息，不必假设或提供条件，由一组构件联合组成，主要是确定数据元素的关系和模式，如产品与顾客的关系和模式，产品与顾客购买模式，通常包括分类、侧面生成或BestN分类、神经网络、规则发现和决策数、关联、顺序模式和聚簇，使用它须考虑到数据的质量、可视化数据的能力、极大数据库的规模、适当的响应时间以及信息分析人员的技能。
知识发现的一般结构图：
5.3 知识发现的应用
5.3.1分组使用（Clustering）
在数据库中把具有相同或相似特征的记录分成不同的组，目前常用的分组算法有二种：
人口统计分组（demographic clustering）
神经网络分组（neural clustering），在分组算法中采用了神经网络技术
5.3.2分类使用（Classification）
用于在数据库中寻找隐含的模式，用一些显著的特性预测其他的属性，主要算法：神经网络分类、规则发现和决策树分类。用于客户信用度评估、市场目标、邮件调查及相应处理的决策。例如，对电信客户进行分类，可以找出将继续使用电信业务的客户和可能终止使用电信业务的客户；在确定企业的市场目标前，在借鉴先前的经验，可通过诸如采用邮寄调查表的方式，调查表列出了预期客户的属性以及他们的反应，调查预期的客户市场，从而得出诸如最大收入或最高利润的预期的客户，得出符合期望的侧面客户信息
5.3.3数值预测（Value Pridiction）
●市场营销：检查客户的行为以构建微观的细分市场、客户调查表，同时寻找
理想的客户群
●财经分析：现金分流分析和欺诈预测
●商业运作：传送计划，后勤分析
5.3.4关联的使用
关联描述了一组数据项目的密切度或关系，用置信度来度量关联规则的强度，主要是通过发掘事务数据派生出关联规则，事务分析不一定处理所有的定货数据，只需确定时间段的数据（如营业厅一个月的200卡销售的数据），并且，通常不是关心单个规则或关联，而是这一组的关联情况。它广泛地使用于大量客户购买模式分析。
如：对电话卡的分析，可能找到200号卡的客户，他们300号卡可能性比较大，同时还可能找到其他的电话卡客户，他们购买300号卡可能性比较大，通过这一些购买模式的关联情况，电信局可以制定相应的销售策略。
5.3.5顺序模式和顺序序列的使用
它可以看成是一种特定的关联规则，用于查找一组符合特定购买频率的客户，发现客户某段时间内客户的购买模式，从而确定定货模式。IT人员分析客户在消费之前的许多与消费有关的事情，如各种促销手段，售后服务，售前服务，维修服务，客户服务请求、邮寄资料，后继购买等等，如：使用普通长话业务的客户，在以后可能使用200号业务，发现客户使用普通长话业务时需要售后服务，维修服务，从而找到到200号业务推广模式。
6 怎样实现数据仓库
6.1 系统的体系结构
6.1.1 两层体系结构
两层结构具有强大的处理能力，其往往是一个部门或某一方面更能的应用，数据规模的范围是有限的，由于其客户端是“胖”客户，可能导致网络瓶颈。
6.1.2 三层体系结构
三层结构具有更大的处理能力，其范围是多个部门或多个功能的应用，数
据规模可以很大，由一个或多个数据站场构成，有多个服务器、多个数据库、多个中间件甚至多种网络构成。
数据库服务器
数据库
瘦客户
三层 C/S 结构示意图
应用服务器
6.2 系统性能
●控制并管理处理的场所，客户的工作站、应用程序服务器或数据库服务器●数据索引技术
●大规模的查询支持
●批处理或后台处理，请求的调度
●查询控制：可访问的数据库范围、时间长短、检索的记录及查询的终止
6.3 系统的环境
●支持的操作系统平台类型：Unix,Windows/NT,OS/2等等
●支持数据库平台：DB2,Oracle,Informix,Sybase等
●支持数据存储的接口类型：DBMS Native 、ODBC或其它开放式接口
●支持多种API编程接口：OLE/COM
●支持SQL及扩充的SQL
●支持多个异质数据库和平台的访问
6.4 安全性和访问控制
为了简化用户的数据访问和保护企业的内部数据应该
●支持按天、日期、位置、报表类型或特定查询划分用户和用户组
●支持对商业计划、工资信息等敏感信息的控制
6.5 报表和图表的传输
●支持电子邮件
●支持局域网、广域网
●支持 WEB方式的发布
6.6 支持代理技术
●处理报表和图表的发送，检查数据变化和特定事件的发生
●系统伸缩性
●用户的数目
●数据仓库的大小
●网络的能力
●检索数据、分析和报表的性能
6.7 选择数据仓库产品
数据仓库是多项复杂的计算机技术的集合，在选择产品时应该考虑：厂家的声誉、产品策略、核心技术、竞争力、技术支持和服务、合作伙伴和性能价格等等因素。
目前，数据仓库产品的厂商有数十家，如IBM、Oracle、SAS、Informix、Red Brick、Bussiness Object、Abor Soft等，彼此的规模和实力差别很大，它们大致上分为集成数据仓库提供商（IBM、racle、SAS、Informix）和数据仓库构件提供商(Red Brick、Bussiness Object、Abor Soft)两类。就此，可以把数据仓库解决方案分为两类：集成数据仓库方案和构件互联数据仓库解决方案。它们的差别很明显，集成数据仓库方案具有优势——集成方案在设计、开发、测试和发布都是统一的结构方案中进行的，有较佳的性能，不存在集成问题，而构件互联方案存在的问题是构件彼此间的协调、管理和性能以及版本统一等等。所以，在允许的情况下，应该选用集成数据仓库方案。
IBM、Oracle、SAS、Informix数据仓库方案的特点分别介绍如下：
6.7.1IBM 数据仓库方案
它提供了一个基于强大体系的全局的、自顶而下的、集成的数据仓库解决方案。DB2是IBM数据仓库策略的支撑者。
6.7.2Oracle 数据仓库方案
Oracle 数据仓库方案提供了许多功能，其核心功能包括数据存储和管理、垂直市场应用、数据存取和开发工具。其数据仓库方案的特征由两个属性决定：Oracle的产品线的广度和Warehouse Technology Initiative(WTI)的合作数目。
6.7.3Informix 数据仓库方案
它的数据仓库策略是增加Dynamic Scalable Architecture 的RDBMS引擎的市场。其结构如图所示，包含四种技术——关系数据库，数据仓库管理，数据存取及开放式系统平台。
6.7.4SAS 数据仓库方案
它致力于强大的数据管理、数据分析和报表功能、信息管理和数据分析。其数据仓库方案的功能是
●用抽取引擎进行数据存取，支持大量的关系数据存取，同时包括非关系
型的数据
●利用4GL可进行数据传输和数据操作
●具有多维数据存储引擎
●大量的分析方法和分析工具。
数据仓库与数据挖掘技术
第1章数据仓库与数据挖掘概述1.1数据仓库引论1 1.1.1为什么要建立数据仓库1 1.1.2什么是数据仓库2 1.1.3数据仓库的特点7 1.1.4数据进入数据仓库的基本过程与建立数据仓库的步骤11 1.1.5分析数据仓库的内容12 1.2数据挖掘引论13 1.2.1为什么要进行数据挖掘13 1.2.2什么是数据挖掘18 1.2.3数据挖掘的特点21 1.2.4数据挖掘的基本过程与步骤22 1.2.5分析数据挖掘的内容26 1.3数据挖掘与数据仓库的关系28 1.4数据仓库与数据挖掘的应用31 1.4.1数据挖掘在零售业的应用31 1.4.2数据挖掘技术在商业银行中的应用36 1.4.3数据挖掘在电信部门的应用40 1.4.4数据挖掘在贝斯出口公司的应用42 1.4.5数据挖掘如何预测信用卡欺诈42 1.4.6数据挖掘在证券行业的应用43 思考练习题一44
1.1.1为什么要建立数据仓库 数据仓库的作用 建立数据仓库的好处
1.1.2 什么是数据仓库 1．数据仓库的概念 W.H.Inmon在《Building the Data Warehouse》中定义数据仓库为：“数据仓库是面向主题的、集成的、随时间变化的、历史的、稳定的、支持决策制定过程的数据集合。”即数据仓库是在管理人员决策中的面向主题的、集成的、非易失的并且随时间而变化的数据集合。 “DW是作为DSS基础的分析型DB，用来存放大容量的只读数据，为制定决策提供所需的信息。” “DW是与操作型系统相分离的、基于标准企业模型集成的、带有时间属性的。即与企业定义的时间区段相关，面向主题且不可更新的数据集合。” 数据仓库是一种来源于各种渠道的单一的、完整的、稳定的数据存储。这种数据存储提供给可以允许最终用户的可以是一种他们能够在其业务范畴中理解并使用的方式。 数据仓库是大量有关公司数据的数据存储。 仓库提供公司数据以及组织数据的访问功能，其中的数据是一致的（consistent），并且可以按每种可能的商业度量方式分解和组合；数据仓库也是一套查询、分析和呈现信息的工具；数据仓库 是我们发布所用数据的场所，其中数据的质量是业务再工程的驱动器（driver of business reengineering）。 定义的共同特征：首先，数据仓库包含大量数据，其中一些数据来源于组织中的操作数据，也有一些数据可能来自于组织外部；其次，组织数据仓库是为了更加便利地使用数据进行决策；最 后，数据仓库为最终用户提供了可用来存取数据的工具。
数据仓库与数据挖掘 摘要 数据挖掘是一新兴的技术，近年对其研究正在蓬勃开展。本文阐述了数据仓库及数据挖掘的相关概念．做了相应的分析，同时共同探讨了两者共同发展的关系，并对数据仓库与挖掘技术结合应用的发展做了展望。用Data Miner作为对数据挖掘的工具，给出了应用于医院的数据仓库实例。指出了数据挖掘技术在医疗费用管理、医疗诊断管理、医院资源管理中具有的广泛应用性，为支持医院管理者的分析决策作出了积极探索。 Abstract The Data Mine is a burgeoning technology，the research about it is developing flourishing．In this paper，it expatiates and analyses the concepts of Data Warehouse and Data Mine Together，discussing the connections of how to expand the two technologies，and combining the two technologies with prospect．The data warehouse supports the mass data on the further handling and recycling．The paper points out the use of data mining in patient charge control，medical quality control， hospital resources allocation management． It helps the hospital to make decisions positively 关键字：数据仓库；数据挖掘；医院信息系统 Key words：Data Warehouse；Data Mine；Hospital information system
第1章数据仓库建设 1.1数据仓库总体架构 专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。 根据专家系统数据仓库建设目标，结合系统数据业务规，包括数据采集频率、数据采集量等相关因素，设计专家系统数据仓库架构如下： 数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的容： 数据采集：负责从各业务自系统中汇集信息数据，系统支撑Kafka、Storm、Flume
及传统的ETL采集工具。 数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。 数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。 数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理和调度，并对外提供数据服务。 1.2数据采集 专家系统数据仓库数据采集包括两个部分容：外部数据汇集、部各层数据的提取与加载。外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层（ODS）；部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。 1.2.1外部数据汇集 专家数据仓库数据源包括列车监控与检测系统（TCMS）、车载子系统等相关子系统，数据采集的容分为实时数据采集和定时数据采集两大类，实时数据采集主要对于各项检测指标数据；非实时采集包括日检修数据等。 根据项目信息汇集要求，列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行灵活配置横向扩展。 本方案在数据采集架构采用Flume+Kafka+Storm的组合架构，采用Flume和ETL 工具作为Kafka的Producer，采用Storm作为Kafka的Consumer，Storm可实现对海量数据的实时处理，及时对问题指标进行预警。具体采集系统技术结构图如下:
数据仓库技术在医院信息系统中的应用 本文介绍了数据仓库技术的发展历程及特点，对数据仓库技术在医院信息管理平台的应用进行了分析，并对医院信息平台使用数据仓库技术提出了建议，为数据仓库技术在医院的建设及使用提供了一定有价值的参考。 标签：数据仓库；医院信息；应用 数据仓库可为所有类型的数据起到支持与集合作用，也是企业发展过程中对决策定制必须要用到的。数据仓库作为独立的数据存储，对企业业务报告进行分析以及作出决策等提供一定支持，对业务流程、所花费成本以及质量等进行控制的一种系统。 1 数据仓库技术 数据仓库由数据仓库之父比尔·恩门（Bill Inmon）于1990年提出，主要功能是将组织透过资讯系统之联机事务处理（OLTP）经年累月所累積的大量资料，透过数据仓库理论所特有的资料储存架构，有系统的进行分析整理，以利于各种分析方法如联机分析处理（OLAP）、数据挖掘（Data Mining）的进行，并进而支持如决策支持系统（DSS）、主管资讯系统（EIS）的创建，帮助决策者能快速有效的从大量资料中，分析出有价值的资讯，有利于决策拟定及快速回应外在环境变动，帮助建构商业智能（BI）[1]。数据仓库技术主要对数据库中获得的信息进行研究和分析，以找出解决方法，因此，数据仓库最大的特点就是具有集成性、稳定性和实时性。 2 数据仓库的特点 数据仓库最大的特点就是可以在数据库存储大量数据的情况下，还可以对数据进行深度挖掘，以对企业在决策问题上提供支持。数据仓库同其他系统大型数据库不同，数据仓库存在的最主要目的就是为企业所得数据进行分析与查询，以为企业提供数据依靠，所以在所用的存储量上较多。数据仓库为了能为企业提供更多前端应用服务，在其实际应用过程中还存在以下几点特点： 2.1对数据仓库要求效率过高数据库对数据进行分析也是有其规律的，分别按照年、季、月、周、日为周期对数据进行分析。以日周期为例，对数据仓库的要求上尤其高，要求其分析数据的频率能够在客户所要求的时间内得出结果。但对于大型企业来说，每天企业所涉及的数据量非常多，如果数据仓库使用不恰当则会延误客户的需求，进而给企业造成影响。 2.2对数据质量要求严格数据仓库所收集到的各种信息必须保证准确，如果在某一数据或者某一代码中出现错误，那么往往就会造成部分数据失真。在数据仓库实际使用过程中所涉及环节较多，且内容复杂，因此，在为客户所提供的数据信息上仍会有错误数据存在，使客户作出错误的判断，进而对企业造成损失。
互联网大数据与传统数据仓库技术比较研究 韩路 1.Hadoop技术简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，是目前全世界最主流的大数据应用平台。以分布式文件系统（HDFS）和MapReduce为核心的Hadoop，目前已整合了其他重要组件如Hive、HBase、Spark，以及统一资源调度管理组件Yarn，形成了一个完成的Hadoop产品生态圈。 1.1.HDFS HDFS是一个分布式文件系统，可设计部署在低成本硬件上。它可以通过提供高吞吐率支持大量数据的批量处理，同时支持应用程序流式访问系统数据。 1.2.MapReduce MapReduce是一种编程模型，用于大规模数据机的并行运算。MapReduce可以将一个任务分发到Hadoop平台各个节点上并以一种可靠容错的方式并行处理大量数据集，实现Hadoop的并行任务处理功能。 1.3.Hive Hive是用于对Hadoop中文件进行数据整理、特殊查询和分析储存的工具。Hive提供了一种结构化数据的机制，支持类似传统结构化数据库中SQL元的查询语言，帮助熟悉SQL的用户查询HDFS中数据。 1.4.HBase HBase是一个分布式的、列式储存的开源数据库。HBase不同于传统关系型数据库，适合非结构化数据储存，同时可以为一个数据行定义不同的列。HBase 主要用于需要随机访问、实时读写的大数据。 1.5.Spark Spark是基于内存计算的分布式计算框架。Spark提出了RDD概念，弥补了MapReduce在并行计算各个阶段无法进行有效数据共享的缺陷。同时，Spark形成了自己的生态系统：SparkSQL、SparkStreaming、MLlib，并完全兼容Hadoop 生态系统。
数据库与信息管理 电脑知识与技术 １引言 传统的数据库技术是以单一的数据资源，即数据库为中心，进行事务处理、批处理、决策分析等各种数据处理工作，数据处理可划分为两大类：操作型处理（ＯＬＴＰ）和分析型处理（统计分析）。操作型处理也叫事务处理，是指对数据库联机的日常操作，通常是对一个或一组纪录的查询和修改，主要为企业的特定应用服务的，注重响应时间，数据的安全性和完整性；分析型处理则用于管理人员的决策分析，经常要访问大量的历史数据。而传统数据库系统利于应用的日常事务处理工作，而难于实现对数据分析处理要求，更无法满足数据处理多样化的要求。因此，专门为业务的统计分析建立一个数据中心，它是一个联机的系统，专门为分析统计和决策支持应用服务的，通过它可以满足决策支持和联机分析应用所要求的一切。这个数据中心就叫做数据仓库。 ２数据仓库概念及发展 ２．１什么是数据仓库 数据仓库就是面向主题的、集成的、不可更新的（稳定性）、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。数据仓库最根本的特点是物理地存放数据，而且这些数据并不是最新的、专有的，而是来源于其它数据库的。数据仓库的建立并不是要取代数据库，它要建立在一个较全面和完善的信息应用的基础上，用于支持高层决策分析，而事务处理数据库在企业的信息环境中承担的是日常操作性的任务。 ２．２相关基本概念 ２．２．１元数据 元数据（ｍｅｔａｄａｔａ）：是“关于数据的数据”，相当于数据库系统 中的数据字典，指明了数据仓库中信息的内容和位置，刻画了数据的抽取和转换规则，存储了与数据仓库主题有关的各种信息，而且整个数据仓库的运行都是基于元数据的，如修改跟踪数据、抽取调度数据、同步捕获历史数据等。 ２．２．２ＯＬＡＰ（联机分析处理Ｏｎ－ｌｉｎｅＡｎａｌｙｔｉｃａｌＰｒｏｃｅｓｓｉｎｇ）数据仓库用于存储和管理面向决策主题的数据，ＯＬＡＰ对数据仓库中的数据分析，并将其转换成辅助决策信息。ＯＬＡＰ的一个 重要特点是多维数据分析，这与数据仓库的多维数据组织正好形 成相互结合、相互补充的关系。ＯＬＡＰ技术中比较典型的应用是对多维数据的切片和切块、钻取、旋转等，它便于使用者从不同角度提取有关数据，其基本思想是：企业的决策者应能灵活地操纵企业的数据，以多维的形式从多方面和多角度来观察企业的状态、了解企业的变化。对ＯＬＡＰ进行分类，按照存储方式的不同，可将 ＯＬＡＰ分成ＲＯＬＡＰ、ＭＯＬＡＰ和ＨＯＬＡＰ；ＲＯＬＡＰ没有大小限制；现 有的关系数据库的技术可以沿用；可以通过ＳＱＬ实现详细数据与概要数据的储存；现有关系型数据库已经对ＯＬＡＰ做了很多优 化，包括并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、ＳＱｌ的ＯＬＡＰ扩展等大大提高了ＲＯＡＬＰ的速度；可以针对ＳＭＰ或ＭＰＰ的结构进行查询优化。 一般比ＭＤＤ响应 速度慢；只读、不支持有关预算的读写操作；ＳＱＬ无法完成部分计算，主要是无法完成多行的计算，无法完成维之间的计算。 ＭＯＬＡＰ性能好、 响应速度快；专为ＯＬＡＰ所设计；支持高性能的决策支持计算；复杂的跨维计算；多用户的读写操作；行级的计算。增加系统复杂度，增加系统培训与维护费用；受操作系统平台中文件大小的限制，难以达到ＴＢ级；需要进行预计算，可能导致数据爆炸；无法支持维的动态变化；缺乏数据模型和数据访问的标准。 ＨＯＬＡＰ综合了ＲＯＬＡＰ和ＭＯＬＡＰ的优点。它将常用的数据存储为ＭＯＬＡＰ，不常用或临时的数据存储为ＲＯＬＡＰ，这样就兼顾 了ＲＯＬＡＰ的伸缩性和ＭＯＬＡＰ的灵活、纯粹的特点。 收稿日期：２００６－０３－２４ 作者简介：赵方（１９７９－），女，浙江杭州人，浙江树人大学助教，硕士在读，主要从事教学、科研工作，以数据库应用、信息管理为主要研究方向。 数据仓库技术及实施 赵 方 （浙江树人大学，浙江杭州３１００１５） 摘要：介绍了数据仓库的基本概念，针对数据仓库建立对创建数据仓库的过程进行了分析，对实现数据抽取、数据仓库的存储和管理等进行分析和比较。 关键词：数据仓库；联机分析处理；数据抽取；数据存储中图分类号：ＴＰ３１１ 文献标识码：Ａ 文章编号：１００９－３０４４（２００６）１７－００３２－０２ ＲｅｓｅａｒｃｈｏｆＤａｔａＷａｒｅｈｏｕｓｅＴｅｃｈｎｏｌｏｇｙ ＺＨＡＯＦａｎｇ （ＺｈｅｊｉａｎｇＳｈｕｒｅｎＵｎｉｖｅｒｓｉｔｙ，Ｈａｎｇｚｈｏｕ３１００１５，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎｔｈｉｓｐａｐｅｒ，ｔｈｅｉｎｔｅｒｎａｌｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆＤａｔａＷａｒｅｈｏｕｓｅａｒｅｉｎｔｒｏｄｕｃｅｄ．ＡｎａｌｙｚｅｄｔｈｅｐｒｏｃｅｄｕｒｅｏｆｉｎｔｅｇｒａｔｅｄＤａｔａＷａｒｅｈｏｕｓｅａｎｄｂｕｉｌｄｉｎｇｔｈｅｄａｔａｗａｒｅｈｏｕｓｅ，ＤａｔａＥｘｔｒａｃｔ，ＤａｔａＷａｒｅｈｏｕｓｅＳｔｏｒａｇｅａｎｄｈｏｗｔｏｍａｎａｇｅｔｈｅＤａｔａＷａｒｅｈｏｕｓｅ． Ｋｅｙｗｏｒｄｓ：ＤａｔａＷａｒｅｈｏｕｓｅ；ＯＬＡＰ（Ｏｎ－ｌｉｎｅＡｎａｌｙｔｉｃａｌＰｒｏｃｅｓｓｉｎｇ）；ＤａｔａＥｘｔｒａｃｔＴｒａｎｓｆｏｒｍＬｏａｄ；ＤａｔａＳｔｏｒａｇｅ ３２
体系结构 数据源 是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等； 数据的存储与管理 是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。 OLAP(联机分析处理)服务器 对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：ROLAP（关系型在线分析处理）、MOLAP （多维在线分析处理）和HOLAP（混合型线上分析处理）。ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。 数据仓库系统的体系结构 数据仓库系统通常是对多个异构数据源的有效集成，集成后按照主题进行重组，包含历史数据。存放在数据仓库中的数据通常不再修改，用于做进一步的分析型数据处理。 数据仓库系统的建立和开发是以企事业单位的现有业务系统和大量业务数据的积累为基础的。数据仓库不是一个静态的概念，只有把信息适时的交给需要这些信息的使用者，供他们做出改善业务经营的决策，信息才能发挥作用，信息才有
数据仓库的基本架构 xiaoyi发表于 2013-07-31 23:57 来源：网站数据分析 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用： 从图中可以看出数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自上而下流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。 数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL（抽取Extra, 转化Transfer, 装载Load）的过程，ETL是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作的大部分精力就是保持ETL的正常和稳定。 下面主要简单介绍下数据仓库架构中的各个模块，当然这里所介绍的数据仓库主要是指网站数据仓库。 数据仓库的数据来源
其实之前的一篇文章已经介绍过数据仓库各种源数据的类型——数据仓库的源数据类型，所以这里不再详细介绍。 对于网站数据仓库而言，点击流日志是一块主要的数据来源，它是网站分析的基础数据；当然网站的数据库数据也并不可少，其记录这网站运营的数据及各种用户操作的结果，对于分析网站Outcome这类数据更加精准；其他是网站内外部可能产生的文档及其它各类对于公司决策有用的数据。 数据仓库的数据存储 源数据通过ETL的日常任务调度导出，并经过转换后以特性的形式存入数据仓库。其实这个过程一直有很大的争议，就是到底数据仓库需不需要储存细节数据，一方的观点是数据仓库面向分析，所以只要存储特定需求的多维分析模型；另一方的观点是数据仓库先要建立和维护细节数据，再根据需求聚合和处理细节数据生成特定的分析模型。我比较偏向后面一个观点：数据仓库并不需要储存所有的原始数据，但数据仓库需要储存细节数据，并且导入的数据必须经过整理和转换使其面向主题。简单地解释下： (1).为什么不需要所有原始数据？数据仓库面向分析处理，但是某些源数据对于分析而言没有价值或者其可能产生的价值远低于储存这些数据所需要的数据仓库的实现和性能上的成本。比如我们知道用户的省份、城市足够，至于用户究竟住哪里可能只是物流商关心的事，或者用户在博客的评论内容可能只是文本挖掘会有需要，但将这些冗长的评论文本存在数据仓库就得不偿失；
数据库技术及其在金融行业的应用 1. 前言 数据库仓库（DW）技术从1991年开始出现，经过多年的摸索和应用，目前在一些发达国家已经建设得比较成熟，为企业综合与灵活的分析型应用提供了强大的数据支撑，为管理层的分析决策和操作层的智能营销提供了技术保证，为企业带来了多方面的收益。而在国内，数据库仓库仍处于尝试或初级建设阶段。 国内的金融行业，随着外部监管和信息披露的压力、内部管理和决策分析的需要，在建设分析类应用时，也正在逐渐从孤立的数据层向统一的数据仓库层规划和转移。建立数据仓库能够减少对数据层的重复投资和资源浪费、统一数据标准、监管和提高数据质量、消除信息孤立、支持综合分析和灵活及时的分析型应用、适应管理和发展、提高业内竞争力。 本文对数据库技术做一个概括性的介绍，并对国内外金融行业数据仓库技术的应用现状做一个简单分析。 2. 数据仓库概念 2.1. DW的提出 2.1.1. 需求 业务系统的建设与逐渐完善，巨量数据信息的积累。 分析类需求不断增加，传统分析类应用造成巨大的资源浪费和管理困难。 业务数据平台异构、数据来源口径多、标准不统一、信息孤立。 整合部门级应用，建设企业级应用，满足综合分析、复杂查询、智能营销等高级需求。 2.1.2. DW概念的提出 MIT在20世纪70年代对业务系统和分析系统的处理过程进行研究，结论是只能采用完全不同的架构和设计方法。 1988年，IBM为解决全企业数据集成问题，提出了信息仓库的概念，确立了原理、架构和规范。但没有进行实际的设计。 1991年，Bill Inmon提出了数据仓库概念，并对为什么建设数据仓库和如何建设数据仓库进行了论述。Bill Inmon被称为数据仓库之父。
数据挖掘与数据仓库课程简介 英文名：Data Mining and Data Warehouse 开课单位：计算机学院 课程编码：203086 学分学时：学分，学时32（含实验10） 授课对象：计算机科学与技术专业方向选修课 先修课程：数据库 课程目的和主要内容： 通过本课程的学习，学生应能理解数据库技术的发展为何导致需要数据挖掘，以及数据挖掘潜在应用的重要性；掌握数据仓库和多维数据结构，OLAP（联机分析处理）的实现以及数据仓库与数据挖掘的关系；熟悉数据挖掘之前的数据预处理技术；了解定义数据挖掘任务说明的数据挖掘原语；掌握数据挖掘技术的基本算法，为将来从事数据仓库的规划和实施以及数据挖掘技术的研究工作打下一定的基础。 主要内容包括数据仓库和数据挖掘的基本知识；数据清理、数据集成和变换、数据归约以及离散化和概念分层等数据预处理技术；DMQL数据挖掘查询语言；用于挖掘特征化和比较知识的面向属性的概化技术、用于挖掘关联规则知识的基本Apriori算法和它的变形、用于挖掘分类和预测知识的判定树分类算法和贝叶斯分类算法以及基于划分的聚类分析算法等；了解先进的数据库系统中的数据挖掘方法，以及对数据挖掘和数据仓库的实际应用问题展开讨论。 参考教材： 《数据挖掘概念与技术》，机械工业出版社，JiaWei Han,Micheline Kamber著，范明等译 参考和阅读书目： 《Data Mining: Concepts and Techniques》Jiawei Han and Micheline Kamber, Morgan Kaufmann, 2000 《机器学习》，Tom Mitchell著，曾华军等译 《SQLServer2000数据挖掘技术指南》，机械工业出版社，Claude Seidman著，刘艺等译 数据挖掘与数据仓库教学大纲 一、课程概况 英文名：Data Mining and Data Warehouse 开课单位：计算机学院 课程编码：203086 学分学时：学分，学时32（含实验10） 授课对象： 先修课程：数据库 课程目的和主要内容： 通过本课程的学习，学生应能理解数据库技术的发展为何导致需要数据挖掘，以及数据
数据仓库架构师笔试题 1、请简述下什么缓慢变化维，以及通过设计怎样解决缓慢变化维的问题。 参考答案：这道题是数据仓库的基础知识题，能答对答全的基本可确定对方有一定的数据仓库开发和设计经验。 1） 2、请简述下数据仓库一般有哪两种设计模式，以及这两种设计模式的优缺点。 参考答案：这题属于简单的基础知识题。其解题思路如下： 1）能准确说出雪花模型和星型模型这两个模型的，算及格。 2）能描述出雪花模型和星形模型分别是怎样一种模型，比如星型模型是维度与事实表直接关联，不存在多层维度的结构，而雪花模型层了维度表保持三范 式或准三范式设计外其它与星形模型一样的，最好能用图例画出来的，得90 分。 3）能够说出雪花模型和星形模型的优缺点的，其中星形模型减少了关联，用空间换时间，性能更优，雪花模型结构更清晰，维护更方便，但性能差一些。 通常的数据仓库建设都是两者的混合模式存在。得满分。 3、请简述下自己做过的项目中用过那些实体，以及各实体间的关系，并将实体中的一些核 心属性列出来。 参考参考：这道题没有标准答案，根据各自项目的情况有不同答案，首先面试者必须将项目中的关键实体、实体属性，以及实体间的关系描述出来。另外可以通过对方的描述，了解对方在对所做项目的了解程度，在项目中承担的角色和作用，以及对方的语言沟通能力。
4、7、请简述下在实体关系是1对1，1对多，多对多的情况下，怎么去设计表来记录两 个实体之间的关系，可举例说明。 参考答案：本题算是一道相对简单的设计基础题，如果这题答不出来，基本确定没什么数据库设计经验，并且作为开发人员对数据库结构的了解也是很有限的。解题思路如下：1）1对1关系可以将其中一个表的主键带到另一个表中，以便于关联查询。 2）1对多关系只能将前者的主键带在后者的表中，不能反过来。比如学校和班级表，只能表学校的标识放在班级表中，而不能反过来。 3）多对多关系则必须在两者之间额外创建一张中间表（一般叫交叉表），这个答案才是最关键的答案，没答对这个，基本可以判定不及格。 5、请简述下数据库（以Oracle为例）有哪几种常见的Join方式，并简要描述各种Join 方式用在哪种场景下会比较适合？ 6、请简要描述下数据库（以Oracle为例）有哪几种常见的索引，并说明每种索引的优缺 点。 7、假设现在有一个社保缴费清单表A（社保号，参保单位编号，缴费月份），缴费清单保 存个人历史所有参数记录。请用一个SQL（可使用伪代码）统计出每个参保人(以社保号标识一个人)在每段工作经历（以缴纳社保为准）的最早缴社保月份、最近缴社保月份，
数据仓库和LOAP应用技术 传统数据库以及OLTP(On-Line Transaction Processing联机事务处理)在日常的管理事务处理中获得了巨大的成功，但是对管理人员的决策分析要求却无法满足。 因为，管理人员常常希望能够通过对组织中的大量数据进行分析，了解业务的发展趋势。而传统数据库只保留了当前的业务处理信息，缺乏决策分析所需要的大量的历史信息。 为满足管理人员的决策分析需要，就需要在数据库的基础上产生适应决策分析的数据环境——数据仓库(Data Warehouse)。 数据仓库系统是一个信息提供平台，是决策支持系统和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。从功能结构化分，数据仓库系统至少应该包含数据获取（Data Acquisition）、数据存储（Data Storage）、数据访问（Data Access）三个关键部分。其体系结构如下： 业务处理系统即是数据库去实现的即时记录的功能，在数据准备区进行ETF处理，数据经过抽取、转换之后加载到数据仓库中，因此也说数据仓库是利用的已经存在的历史记录去整合，是利用原有数据分析下一步行动的决策，是有风险的。分析完主题和数据元后建立数据模型（概念模型、逻辑模型、物理模型）并形成事实表和纬度表，然后通过粒度分析将历史记录先抽取整合，然后再根据决策者可能用到的数据集合分解成若干记录，以备不同决策者使用；再利用OLAP工具技术进行数据的分析导出。当然，这些都在了解了管理者即客户的需求之后进行的，或者是由企业的管理者自己进行的技术应用或分析。 模型设计的过程如下：
数据仓库是管理决策分析的基础，要有效地利用数据仓库的信息资源，必须要有强大的工具对数据仓库的信息进行分析决策。 On-line Analytical Processing(在线分析处理或联机分析处理)就是一个应用广泛的数据仓库使用技术。它可以根据分析人员的要求，迅速灵活地对当量的数据进行复杂的查询处理，并以直观的容易理解的形式将查询结果提供给各种决策人员，使他们能够迅速准确地掌握企业的运营情况，了解市场的需求。具体的说，OLAP(联机分析处理)是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。(OLAP委员会的定义) OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。OLAP是连接数据仓库和用户的桥梁，通过OLAP服务器用户可以很方便的浏览信息，进行决策！按照数据的存储方式进行分类，OLAP分为MOLAP，ROLAP，HOLAP三类。 OLAP支持最终用户进行动态多维分析、预测分析；切片和切块并在屏幕上显示，从宏观到微观，对数据进行深入分析；可查询底层的细节数据，在观察区域中选转，进行不同维之间的比较，在OLAP中有变量、维、维的层次、维成员、多维数组、数据单元等基本概念降，变量是从现实系统中抽象出来的，用于描述数据的实际含义；维是观察者观察数据的特定角度；维的层次是数据的某个维还可以存在细节程度不同的多个描述方面，称为维的层次；维成员是维的一个取值。如果一个维是多层次的，那么维成员就是不同维层次取值的组合。例如时间维具有年、月、日这三个层次，分别在年、月、目上各取一个值组合起来，就得到了时间维的一个维成员，如：2005年6月6日；多维数据集是决策支持的支柱，也是OLAP的核心，有时也称为立方体或超立方体。 0LAP使用三层的体系结构：数据库服务器、0LAP服务器和客户端工具。 第一层是数据仓库服务器，它实现与基层运营的数据库系统的连接，完成企业级数据一致和数据共享的工作。 第二层是OLAP服务器，它根据最终客户的请求实现分解成OLAP分析的各种动作，并使用数据仓库中的数据完成这些动作。
数据仓库技术与应用 LEKIBM standardization office【IBM5AB- LEKIBMK08- LEKIBM2C】
文章编号 :5(2004 03 收稿日期 :27 基金项目 :教育部高等学校骨干教师资助计划项目 (GG 28 作者简介 :项军 (19792 , 男 , 四川绵阳人 , 空军工程大学导弹学院计算机工程系硕士研究生 , 研究方向 :智能信息处理与人工智能 ; 雷英杰 (19562 , 男 , 陕西渭南人 , 教授 , 博士生导师 , 研究方向 :智能信息处理 , 模式识别 , 人工智能。数据仓库技术与应用 项军 , 雷英杰 (空军工程大学导弹学院 , 陕西三原 713800 摘要 :对数据仓库、联机分析处理和数据挖掘等几个概念做了详细的介绍 , 在此基础上提出适用于电信系统应用的设计思想 , 详细介绍了该系统的系统结构、关键技术的实现和各子系统功能。关键词 :数据仓库 ; 联机分析处理 ; 数据挖掘中图分类号 :文献标识码 :A The T echnique and Application of Data W arehouse XI ANGJun ,LEI Y ing 2jie (Missile Institute of Air F orce Engineering University ,Sanyuan 713800,China Abstract :This paper introduces the concepts of data warehouse ,on 2line analytical processing and data mining ,puts forward the design thought of telecommunication system and briefly introduces the system structure ,the key techniques of the system and the functions of each sub 2system. K ey w ords :data warehouse ;on 2line analytical processing ;data mining 0引言
数据仓库与数据挖掘技术复习资料 一、单项选择题 1.数据挖掘技术包括三个主要的部分（ C ） A．数据、模型、技术 B．算法、技术、领域知识 C．数据、建模能力、算法与技术 D．建模能力、算法与技术、领域知识 2.关于基本数据的元数据是指: ( D ) A.基本元数据与数据源,数据仓库,数据集市和应用程序等结构相关的信息； B.基本元数据包括与企业相关的管理方面的数据和信息； C.基本元数据包括日志文件和简历执行处理的时序调度信息； D.基本元数据包括关于装载和更新处理,分析处理以及管理方面的信息。 3.关于OLAP和OLTP的说法,下列不正确的是: ( A) A．OLAP事务量大,但事务内容比较简单且重复率高 B．OLAP的最终数据来源与OLTP不一样 C．OLTP面对的是决策人员和高层管理人员 D．OLTP以应用为核心，是应用驱动的 4．将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？( C ) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘5．下面哪种不属于数据预处理的方法？ ( D ) A.变量代换 B.离散化 C. 聚集 D. 估计遗漏值 6.在ID3 算法中信息增益是指（ D ） A.信息的溢出程度 B.信息的增加效益 C.熵增加的程度最大 D.熵减少的程度最大 7.以下哪个算法是基于规则的分类器 ( A ) A. C4.5 B. KNN C. Bayes D. ANN 8.以下哪项关于决策树的说法是错误的（ C ） A．冗余属性不会对决策树的准确率造成不利的影响 B．子树可能在决策树中重复多次 C．决策树算法对于噪声的干扰非常敏感 D．寻找最佳决策树是NP完全问题 9.假设收入属性的最小与最大分别是10000和90000，现在想把当前值30000映射到区间[0,1],若采用最大－最小数据规范方法，计算结果是（ A ） 页9 共页1 第 A. 0.25 B. 0.375 C.0.125 D. 0.5 10.在抽样方法中，当合适的样本容量很难确定时，可以使用的抽样方法是：( D ) A.有放回的简单随机抽样 B.无放回的简单随机抽样
数据仓库制定方案 在当下的数据仓库系统安全控制模块中，我国数据仓库安全分为不同的等级。总体来说，我国的数据仓库安全性是比较低。为更好的健全计算机数据仓库体系，进行数据仓库安全体系的研究是必要的。很多软件都是因为其比较缺乏安全性而得不到较大范围的应用，归根结底是数据仓库安全性级别比较低。为满足现阶段数据仓库安全工作的需要，有利于数据仓库保密性的控制，保证这些数据存储与调用的一致性。 当前数据仓库安全控制过程中，首先需要对这些数据进行可用性的分析，从而有利于避免数据仓库遭到破坏，更有利于进行数据仓库的损坏控制及其修复。其次为了保证数据仓库的安全性、效益性，也离不开对数据仓库整体安全性方案的应用。最后必须对数据仓库进行的一切操作进行跟踪记录，以实现对修改和访问数据仓库的用户进行追踪，从而方便追查并防止非法用户对数据仓库进行操作。 2.1数据仓库安全整体规划 本方案通过对电力行业敏感信息泄露安全威胁的分析，对数据仓库安全进行整体设计与规划，通过全系列数据仓库安全产品相互之间分工协作，共同形成整体的防护体系，覆盖了数据仓库安全防护的事前诊断、事中控制和事后分析。 制定严密可行的实施计划，整个工程严格按照计划进行；公司质量控制部利用ISO9000质量管理规范对工程的软件开发及实施全过程进行监督和控制；建立完善的软件开发和工程实施的文档体系。对程序进行测试，对各个模块之间的关联情况下可能出现的问题进行严密的测试，并不断完善在测试过程中暴露出来的问题。在这过程中质量控制小组将全程参与，确保软件质量。 需求调研是数据仓库开发的最重要的环节之一，在调研的过程中能否真实、准确地描述客户的需求，对于数据仓库的开发有着举足轻重的影响。与客户沟通不够导致对同一个事物的描述或者理解有分歧和差异，或者调研过程中流于表面文字，而没有进入实际的操作，都可能造成在需求调研的过程中造成对需求不精确的理解。失之毫厘，谬之千里，需求调研的微小差异可能会在软件的开发过程中造成较大的偏差，直接影响了工程的建设质量。为此我们为需求调研工作分配
1.数据仓库 1.1.概念 数据仓库项目是以关系数据库为依托，以数据仓库理论为指导、以OLAP为多层次多视角分析，以ETL工具进行数据集成、整合、清洗、加载转换，以前端工具进行前端报表展现浏览，以反复叠代验证为生命周期的综合处理过程。最终目标是为了达到整合企业信息信息，把数据转换成信息、知识，提供决策支持。 1.2.数据源 数据库、磁带、文件、网页等等。同一主题的数据可能存储在不同的数据库、磁带、甚至文件、网页里都有。 1.3.数据粒度 粒度问题第一反应了数据细化程度；第二在决策分析层面粒度越大，细化程度越低。一般情况，数据仓库需求存储不同粒度的数据来满足不同层面的要求。 例子如顾客的移动话费信息。 1.4.数据分割 分割结构相同的数据，保证灵活的访问数据。 1.5.设计数据仓库 ●与OLTP系统的接口设计：ETL设计 ●数据仓库本身存储模型的设计：数据存储模型设计 1.6.ETL设计难点 数据仓库有多个应用数据源，导致同一对象描述方式不同： ●表达方式不同：字段类型不同 ●度量方式不同：单位不同 ●对象命名方式不同：字段名称不同 ●数据源的数据是逐步加载到数据仓库，怎么确定数据已经加载过 ●如何避免对已经加载的数据的读取，提高性能 ●数据实时发生变化后怎么加载
2.数据存储模型 过程模型：适用于操作性环境。 数据模型：适用于数据仓库和操作性环境。 数据模型从设计的角度分：高层次模型（实体关系型），中间层建模（数据项集），物理模型。 2.1.数据仓库的存储方式 数据仓库的数据由两种存储方式：一种是存储在关系数据库中，另一种是按多维的方式存储，也就是多维数组。 2.2.数据仓库的数据分类 数据仓库的数据分元数据和用户数据。 用户数据按照数据粒度分别存放，一般分四个粒度：早期细节级数据，当前细节级数据，轻度综合级，高度综合级。 元数据是定义了数据的数据。传统数据库中的数据字典或者系统目录都是元数据，在数据仓库中元数据表现为两种形式：一种是为了从操作型环境向数据仓库环境转换而建立的元数据，它包含了数据源的各种属性以及转换时的各种属性；另一种元数据是用来与多维模型和前端工具建立映射用的。 2.3.数据存储模型分类 多维数据建模以直观的方式组织数据，并支持高性能的数据访问。每一个多维数据模型由多个多维数据模式表示，每一个多维数据模式都是由一个事实表和一组维表组成的。 多维模型最常见的是星形模式。在星形模式中，事实表居中，多个维表呈辐射状分布于其四周，并与事实表连接。 在星型的基础上，发展出雪花模式。通常来说，数据仓库使用星型模型。 2.3.1.星型模型 位于星形中心的实体是指标实体，是用户最关心的基本实体和查询活动的中心，为数据仓库的查询活动提供定量数据。每个指标实体代表一系列相关事实，完成一项指定的功能。 位于星形图星角上的实体是维度实体，其作用是限制用户的查询结果，将数据过滤使得从指标实体查询返回较少的行，从而缩小访问范围。每个维表有自己的属性，维表和事实表通过关键字相关联。 星形模式虽然是一个关系模型，但是它不是一个规范化的模型。在星形模式中，维度表被故意地非规范化了，这是星形模式与OLTP系统中的关系模式的基本区别。 使用星形模式主要有两方面的原因:提高查询的效率。采用星形模式设计的数据仓库的优点是由于数据的组织已经过预处理，主要数据都在庞大的事实表中,所以只要扫描事实表
数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用： 从图中可以看出数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自上而下流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。 数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL（抽取Extra, 转化Transfer, 装载Load）的过程，ETL是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作的大部分精力就是保持ETL 的正常和稳定。 下面主要简单介绍下数据仓库架构中的各个模块，当然这里所介绍的数据仓库主要是指网站数据仓库。 数据仓库的数据来源 其实之前的一篇文章已经介绍过数据仓库各种源数据的类型——数据仓库的源数据类型，所以这里不再详细介绍。 对于网站数据仓库而言，点击流日志是一块主要的数据来源，它是网站分析的基础数据；当然网站的数据库数据也并不可少，其记录这网站运营的数据及各种用户操作的结果，对于分析网站Outcome这类数据更加精准；其他是网站内外部可能产生的文档及其它各类对于公司决策有用的数据。
数据仓库的数据存储 源数据通过ETL的日常任务调度导出，并经过转换后以特性的形式存 入数据仓库。其实这个过程一直有很大的争议，就是到底数据仓库需不需要储存细节数据，一方的观点是数据仓库面向分析，所以只要存储特定需求的多维分析模型；另一方的观点是数据仓库先要建立和维护细节数据，再根据需求聚合和处理细节数据生成特定的分析模型。我比较偏向后面一个观点：数据仓库并不需要储存所有的原始数据，但数据仓库需要储存细节数据，并 且导入的数据必须经过整理和转换使其面向主题。简单地解释下： (1).为什么不需要所有原始数据？数据仓库面向分析处理，但是某些源 数据对于分析而言没有价值或者其可能产生的价值远低于储存这些数据所 需要的数据仓库的实现和性能上的成本。比如我们知道用户的省份、城市足够，至于用户究竟住哪里可能只是物流商关心的事，或者用户在博客的评论内容可能只是文本挖掘会有需要，但将这些冗长的评论文本存在数据仓库就得不偿失； (2).为什么要存细节数据？细节数据是必需的，数据仓库的分析需求会 时刻变化，而有了细节数据就可以做到以不变应万变，但如果我们只存储根据某些需求搭建起来的数据模型，那么显然对于频繁变动的需求会手足无措； (3).为什么要面向主题？面向主题是数据仓库的第一特性，主要是指合 理地组织数据以方面实现分析。对于源数据而言，其数据组织形式是多样的，像点击流的数据格式是未经优化的，前台数据库的数据是基于OLTP操作组织优化的，这些可能都不适合分析，而整理成面向主题的组织形式才是真正地利于分析的，比如将点击流日志整理成页面（Page）、访问（Visit或Session）、用户（Visitor）三个主题，这样可以明显提升分析的效率。 数据仓库基于维护细节数据的基础上在对数据进行处理，使其真正地能够应用于分析。主要包括三个方面： 数据的聚合 这里的聚合数据指的是基于特定需求的简单聚合（基于多维数据的聚合体现在多维数据模型中），简单聚合可以是网站的总Pageviews、Visits、