数据仓库中的OLAP与数据挖掘技术

BI、数据仓库、OLTP、OLAP⼀、BI 商业智能（Business Intelligence，简称：BI），⼜称商业智慧或商务智能，指⽤现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进⾏数据分析以实现商业价值。

商业智能的概念在1996年最早由加特纳集团（Gartner Group）提出，加特纳集团将商业智能定义为：商业智能描述了⼀系列的概念和⽅法，通过应⽤基于事实的⽀持系统来辅助商业决策的制定。

商业智能技术提供使企业迅速分析数据的技术和⽅法，包括收集、管理和分析数据，将这些数据转化为有⽤的信息，然后分发到企业各处。

⼆、数据仓库 Data Warehouse，可简写为DW或DWH。

数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据⽀持的战略集合。

它是单个数据存储，出于分析性报告和决策⽀持⽬的⽽创建。

为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

数据仓库是⾯向主题的；操作型数据库的数据组织⾯向事务处理任务，⽽数据仓库中的数据是按照⼀定的主题域进⾏组织。

主题是指⽤户使⽤数据仓库进⾏决策时所关⼼的重点⽅⾯，⼀个主题通常与多个操作型信息系统相关。

数据仓库是集成的，数据仓库的数据有来⾃于分散的操作型数据，将所需数据从原来的数据中抽取出来，进⾏加⼯与集成，统⼀与综合之后才能进⼊数据仓库 概括来说，数据仓库系统是指具有综合企业数据的能⼒，能够对⼤量企业数据进⾏快速和准确分析，辅助做出更好的商业决策的系统。

它本⾝包括三部分内容：1、数据层：实现对企业操作数据的抽取、转换、清洗和汇总，形成信息数据，并存储在企业级的中⼼信息数据库中。

2、应⽤层：通过联机分析处理，甚⾄是数据挖掘等应⽤处理，实现对信息数据的分析。

3、表现层：通过前台分析⼯具，将查询报表、统计分析、多维联机分析和数据发掘的结论展现在⽤户⾯前。

从应⽤⾓度来说，数据仓库系统除了联机分析处理外，还可以采⽤传统的报表，或者采⽤数理统计和⼈⼯智能等数据挖掘⼿段，涵盖的范围更⼴；就应⽤范围⽽⾔，联机分析处理往往根据⽤户分析的主题进⾏应⽤分割，例如：销售分析、市场推⼴分析、客户利润率分析等等，每⼀个分析的主题形成⼀个OLAP应⽤，⽽所有的OLAP应⽤实际上只是数据仓库系统的⼀部分。

数据挖掘及OLAP技术姓名：邓晨慧班级：1141302 学号：201140130209 江西抚州344000摘要：随着网络、数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多。

数据总结是对数据进行浓缩,给出它的紧凑描述。

数据挖掘是从数据泛化的角度来讨论数据总结。

数据挖掘(Data Mining)就是从大量的实际应用数据中提取隐含信息和知识，它利用了数据库、人工智能和数理统计等多方面的技术，是一类深层次的数据分析方法。

数据挖掘、OLAP是当前基于大型数据库或数据仓库的新型信息分析技术，在许多领域得到广泛应用，取得了很好的成效。

如何将其应用于财务决策以提高决策的正确性、及时性，降低决策的风险，已成为财务管理领域的重要研究课题。

本文在介绍数据挖掘、OLAP技术及其相互关系的基础上，分析了财务决策领域应用这两种技术的现实必要性。

关键字：数据挖掘、OLAP。

1、引言：数据是知识的源泉。

但是,拥有大量的数据与拥有许多有用的知识完全是两回事。

过去几年中,从数据库中发现知识这一领域发展的很快。

广阔的市场和研究利益促使这一领域的飞速发展。

计算机技术和数据收集技术的进步使人们可以从更加广泛的范围和几年前不可想象的速度收集和存储信息。

收集数据是为了得到信息,然而大量的数据本身并不意味信息。

尽管现代的数据库技术使我们很容易存储大量的数据流,但现在还没有一种成熟的技术帮助我们分析、理解并使数据以可理解的信息表示出来。

在过去,我们常用的知识获取方法是由知识工程师把专家经验知识经过分析、筛选、比较、综合、再提取出知识和规则。

然而,由于知识工程师所拥有知识的有局限性,所以对于获得知识的可信度就应该打个折扣。

OLAP是在多维数据结构上进行数据分析的。

同时对多维数据进行分析是复杂。

一般在多维数据中取出（切片、切块）二维或三维数据来进行分析，或对层次的维进行钻取操作，向下钻取获得更综合的数据。

OLAP要适应大量用户同时使用同一批数据，适用于不同地理位置的分散化的决策。

传统OLAP系统的特点及发展方向一、传统OLAP系统的特点OLAP（Online Analytical Processing）是一种用于数据分析和决策支持的技术，OLAP系统用于支持多维数据分析，允许用户通过多维度的角度进行数据探索和分析，帮助用户了解数据的关系、趋势和规律性，从而为企业决策提供科学依据。

传统的OLAP系统主要有以下特点：1. 静态数据挖掘传统的OLAP系统主要是用于分析历史数据，虽然在数据仓库中会进行实时数据的更新，但是分析主要是以历史数据为基础。

传统OLAP系统可以对数据进行透视、钻取、切片切块、筛选等多种方式进行分析，但是在实时性上有一定的限制。

2. 大量数据处理传统OLAP系统是用于处理海量数据的，它需要大量的计算、存储、查询资源，因此通常需要使用数据仓库进行存储和管理，以提高数据的访问和查询效率。

3. 多维度分析传统的OLAP系统支持多维度的数据分析，可以针对多个维度进行分析和处理。

其维度通常包括时间、地域、产品、客户、渠道等，用户通过这些维度进行数据切割和汇总，获取更加深入的数据认知。

4. 复杂查询传统的OLAP系统支持复杂的查询操作，可以通过多种方式对数据进行查询和分析。

同时，系统也可以支持复杂的聚合和计算操作，以对数据进行更深入的挖掘和分析。

二、传统OLAP系统的发展方向1. 实时性随着数据分析的应用场景的不断扩大，对数据的实时性要求也越来越高。

为了满足实时分析的需求，传统OLAP系统需要进一步提高计算和存储效率，以实现更快的查询和处理速度，实现数据分析的实时性。

2. 开放性和互操作性随着数据的不断增长和多样化，传统OLAP系统需要与其他系统进行整合，以实现数据的共享和互通。

同时，系统也需要与其他应用程序进行协作，以满足用户的需求，提供更广泛的数据服务。

3. 云化和分布式随着云计算技术的发展，数据分析的方式也在向云平台和分布式的方向发展。

传统OLAP系统需要进行重构，以适应云计算和分布式计算的需求，支持多租户和分布式部署，提高可靠性和可扩展性。

数据仓库架构中的OLAP技术在大数据分析中的应用与效果评估在大数据时代，数据分析变得越来越重要，尤其是对于企业来说，良好的数据分析可以帮助企业发现潜在的商业机会、优化运营策略以及制定精确的业务决策。

数据仓库架构中的在线分析处理（OLAP）技术在大数据分析中发挥着重要的作用，并且在应用过程中取得了显著的效果。

首先，数据仓库架构中的OLAP技术能够提供实时、多维度的分析。

大数据时代的数据量巨大且复杂，传统的关系型数据库已经无法满足对这些数据进行高效分析的需求。

而OLAP技术通过对数据进行多维度的切片、透视、切块等操作，使得用户可以迅速地从各个角度深入分析数据。

这种多维分析的能力不仅能够帮助企业发现数据之间的潜在关联，还能够帮助企业进行趋势分析、模式识别等。

其次，数据仓库架构中的OLAP技术具有高度可扩展性。

在大数据分析中，数据量的增长速度极快，传统的数据库系统可能会面临存储容量不足、性能下降等问题。

而OLAP技术采用的多维数据存储结构以及预处理技术，使得数据的查询和分析可以在多个维度上进行，并且能够通过添加更多的服务器来实现系统的扩展。

这种高度可扩展性使得企业可以更好地应对日益增长的数据量，保证分析的准确性和效率。

此外，数据仓库架构中的OLAP技术能够提供自助式分析。

在传统的数据分析中，数据科学家或者分析师需要依赖技术团队提供的报表、图表等分析结果来支持业务决策。

而OLAP技术使得数据分析变得更加自主，用户可以通过可视化的界面进行数据的探索和分析，不再需要依赖专业知识。

这种自助式分析的能力不仅提高了业务用户的工作效率，还可以促进数据驱动决策的普及，推动企业的创新和发展。

当然，要评估数据仓库架构中的OLAP技术在大数据分析中的效果，需要综合考虑多方面的因素。

首先是数据的准确性和完整性。

大数据分析的结果直接依赖于输入的数据质量，如果数据质量不好，无论采用任何技术都不可能得到准确的结果。

因此，在应用OLAP技术之前，需要确保数据源的质量可靠，可以通过数据清洗、数据归一化等方法来提高数据的准确性和完整性。