OLAP概述
- 格式:doc
- 大小:40.50 KB
- 文档页数:5
OLAP 服务器OLAP 服务器1. 简介1.1 概述在本章节中,将对OLAP(联机分析处理)服务器进行简要的概述和定义。
2. 功能特点2.1 数据存储与管理功能描述了OLAP服务器用于数据存储和管理的主要功能。
2.2 多维数据查询与分析功能解释了如何使用OLAP服务器进行多维数据查询和分析,并其相关特性。
3.系统架构设计讨论了在实施一个完整的 OLTP (On-Line Transaction Processing) 和 OLAS( On-line Analytical System ) 应用程序时所需考虑到的问题以及解决方案。
包括客户端、服务层、数据库等组件之间相互关系图示或描述文字说明。
4.安装配置指南提供详尽步骤来帮助用户正确地安装并配置该软件产品。
这些步骤应涵盖从软件开始直至成功运行起来为止所有必须执行操作.5.快速入门教程这一部份提供给新手迅速上手,通过几个基础例子讲解最常见情景下怎样建立自己第一个Cube.6.高级技术支持此篇幅是针对那些已经熟悉了基本操作并且希望深入学习更多高级技巧的用户。
这里会详细讲解一些复杂场景下怎样使用OLAP服务器。
7.常见问题与故障排除列出可能遇到的常见问题和相应的解决方案,以及如何进行故障排查。
8. 附件在此处列出文档所涉及到的所有附件,并提供或其他相关信息。
9. 法律名词及注释- OLAP:联机分析处理(On-Line Analytical Processing)是指通过对大量数据进行查询、汇总、统计等方式来获取有关业务过程中各种活动情况和结果变化趋势等知识性信息。
10. 结束语。
OLAP概述 OLAP分析,又称多维分析,是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的并真实反映企业维特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。
OLAP也可以简单定义成使用户能够以多维视图分析数据的工具。
通常用来进行多维分析的维有时间、地点、产品、度量值(如销售额)等。
例如,在销售经理查看销售数据时,他可能想了解某个产品在某个地区、某段时间的销售额,并通过交叉表的功能来按不同的维对销售数据进行分析和通过挖掘功能来了解深层次的信息。
图3-20:数据的多维形式通过三维方式展现数据,并在此基础上进行分析,能够揭示出在二维方式下隐藏的关系;并通过方便的数据导航功能,使用户更易比较数据变量之间的关系,从而可以发现数据中隐藏的信息。
关系型数据库往往不能支持对数据进行逻辑分析和统计分析。
而采用OLAP系统,用户无须编程就可以定义新的逻辑、统计等方面的计算,并可将其做为分析的一部分,并以用户理想的方式给出报告。
用户可以在OLAP平台上进行数据分析,也可以连接到其他外部分析工具上,如时间序列分析工具、数据挖掘工具等。
OLAP产品根据其实现多维分析的技术以及要实现的目标而分为三类: (1)、MOLAP(多维联机分析处理)。
MOLAP将事务型数据进行综合,通过多维结构的“立方体”的数据结构来储存经综合的数据。
MOLAP通过其层次型数据库及在内存内的索引来保障数据访问的性能。
用户可以利用数据导航工具来进行钻取、交叉查询及产生关于“立方体”的报告。
根据MOLAP的技术特点,MOLAP擅长于对一定数量的数据进行大量、复杂、快速的、反复的分析。
MOLAP通常用来进行假设分析和问题求解,如在预算应用中。
图3-21:MOLAP架构图(2)、ROLAP(关系型联机分析处理)。
ROLAP在分析数据是直接到关系型数据库中取数据,而不建立自己的“立方体”。
OLTP与OLAP1.OLTP与OLAP的基本概念与主要区别1.1 OLTP是什么OLTP的全称是On-line Transaction Processing,中⽂名称是联机事务处理。
其特点是会有⾼并发且数据量级不⼤的查询,是主要⽤于管理事务(transaction-oriented)的系统。
此类系统专注于short on-line-tansactions 如INSERT, UPDATE, DELETE操作。
通常存在此类系统中的数据都是以实体对象模型来存储数据,并满⾜3NF(数据库第三范式)。
1.2 OLAP是什么OLAP的全称是 On-line Analytical Processing,中⽂名称是联机分析处理。
其特点是查询频率较OLTP系统更低,但通常会涉及到⾮常复杂的聚合计算。
OLAP系统以维度模型来存储历史数据,其主要存储描述性的数据并且在结构上都是同质的。
1.3 OLAP与OLTP的主要联系和区别既然OLTP中存放了⼤量的细节数据,为什么不直接在OLTP上进⾏分析处理呢?由于OLTP主要是为了操作数据⽽设计(操作系统),⽤于处理已知的任务和负载:常见的优化在于主码索引和散列,检索特定的记录。
去优化某⼀些特定的查询语句。
⽽OLAP则是为了分析数据⽽设计(数据仓库),其查询的⽅式往往是复杂且未知的,通常会涉及⼤量数据在汇总后的计算,这种需要基于多维视图的数据操作在OLTP上执⾏的时候性能将是⾮常差的,并且是也是极其危险的。
但是OLAP系统数据来源与各种OLTP数据库。
因为OLTP系统存储的数据往往是异质的,所以OLAP系统需要把各种来源于OLTP的异质数据通过转换(ETL)做到同质并且合并。
如下是OLTP与OLAP的区别:OLTP和OLAP的主要区别总结2.1 OLAP分类:ROLAP,MOLAP,HOLAP 根据存储数据⽅式不同划分(1)ROLAP RelationalOLAP关系OLAP—数据存储在RDMS中这是⼀种通过在RDMS后端服务和客户前端之间建⽴中间层的OLAP实现⽅式。
OLAP数据库什么是OLAP数据库?OLAP数据库(Online Analytical Processing,即在线分析处理),是一种数据库技术,它可以让用户和企业精确地查看和分析大量复杂数据。
OLAP数据库的目的是帮助企业更好地理解和解释数据,以便做出更明智的决策。
与传统SQL数据库不同,OLAP数据库通过多维数据模型来组织数据,这种模型可以更好地表示一些复杂的分析问题。
OLAP 数据库通常采用基于数据立方体的查询语言,例如MDX (Multidimensional Expressions),这种语言强调多维数据分析。
OLAP数据库的优点1.快速查询:OLAP数据库是为快速查询优化的,它可以迅速响应多个查询,使得多次复杂查询变得高效。
2.数据可视化:OLAP数据库可以将查询结果可视化,例如基于数据立方体的报表,以便更好地理解和分析数据。
3.分析复杂数据:OLAP数据库可以处理海量数据,而且还能够处理比较复杂的数据,这种方式有利于找到数据之间的关联性。
4.支持决策:OLAP数据库可以帮助决策者更好地解读数据,提高决策的准确性和可靠性。
OLAP数据库的应用场景OLAP数据库可以通过多维数据立方体来解决许多分析问题。
它适用于需要一次性分析大量数据、需要实时响应多次查询、需要查找数据之间的关系、需要将查询结果可视化等场景。
例如,某公司可以使用OLAP数据库来分析其销售数据。
它可能需要了解某个特定时间段内某地区、某产品的具体销售情况,以便更好地决策。
或者,它也可以使用OLAP数据库来分析其市场情况,了解客户行为模式和需求,以便更好地制定市场策略。
还有,政府机构可以利用OLAP数据库来分析就业数据。
它们可以比较分析不同地区、不同行业、不同工作类型、不同年龄的就业状况和趋势,以便更好地制定就业政策。
总结OLAP数据库是一种强大的数据库技术,可以帮助企业更好地理解和分析复杂的数据。
它可以快速响应多个查询、分析海量数据、可视化查询结果、精确分析数据关系等。
OLAP(联机分析处理)。
什么是联机分析处理(OLAP)联机分析处理(OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的,他同时提出了关于OLAP的12条准则。
OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理(OLTP) 明显区分开来。
当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。
OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。
OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
下表列出了OLTP与OLAP之间的比较。
OLTPOLAP用户操作人员,低层管理人员决策人员,高级管理人员功能日常操作处理分析决策DB 设计面向应用面向主题数据当前的, 最新的细节的, 二维的分立的历史的, 聚集的, 多维的集成的, 统一的存取读/写数十条记录读上百万条记录工作单位简单的事务复杂的查询用户数上千个上百个DB 大小100MB-GB100GB-TBOLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。
OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求,它的技术核心是"维"这个概念。
“维”是人们观察客观世界的角度,是一种高层次的类型划分。
“维”一般包含着层次关系,这种层次关系有时会相当复杂。
通过把一个实体的多项重要的属性定义为多个维(dimension),使用户能对不同维上的数据进行比较。
因此OLAP也可以说是多维数据分析工具的集合。
OLAP的基本多维分析操作有钻取(roll up和drill down)、切片(slice)和切块(dice)、以及旋转(pivot)、drill across、drill through等。
OLAP与OLTP系统的特点与区别在当今互联网时代,数据处理成为各种企业以及组织中不可或缺的重要部分。
随着数据的不断积累和增长,面临着对数据进行分析和处理的需求日益迫切。
OLAP(联机分析处理)和OLTP(联机事务处理)系统是常用的数据处理系统,它们在数据处理的不同阶段起着重要的作用。
本文将重点讨论OLAP和OLTP系统的特点和区别。
OLAP系统是一种用于进行多维分析的数据处理系统。
它主要用于对大规模数据集进行查询和分析,以便从多个维度来研究数据。
OLAP系统适用于环境中需要进行复杂多维度分析的场景,例如市场营销、销售预测、业绩评估等。
OLAP系统具有以下几个特点:1. 多维数据分析:OLAP系统可以通过各种维度对数据进行切片和切块,从而进行多维度的数据分析。
用户可以对数据进行透视、钻取和分组操作,以获取细致的数据视图。
2. 超大规模数据处理:OLAP系统能够处理海量的数据,支持从亿级到万亿级的数据规模。
这使得它成为对大数据进行高效处理和分析的理想选择。
3. 快速查询和响应:OLAP系统具有高速查询和响应能力。
它使用了预计算和预聚合技术,将数据预先计算并存储到多维数据库中,从而加快了查询速度和响应时间。
相比之下,OLTP系统主要用于处理和管理日常事务性操作数据,如订单处理、库存管理等。
它具有以下特点:1. 精确和实时的数据处理:OLTP系统对数据的准确性和实时性要求较高,因此它通常处理实时产生的数据。
它需要快速地执行大量的事务,并确保数据的一致性和可靠性。
2. 事务处理:OLTP系统采用了并发控制和锁机制,以确保多个事务的一致性和隔离性。
它支持事务的原子性、一致性、隔离性和持久性特性。
3. 高并发处理能力:OLTP系统通常需要处理大量同时发生的事务。
它使用精细的并发控制和事务管理技术,以支持多用户同时对数据库进行访问和操作。
OLAP和OLTP系统之间的区别主要体现在以下几个方面:1. 数据库设计架构:OLAP系统使用多维数据结构,通常采用星型或雪花型的数据模型,而OLTP系统通常使用关系数据库模型。
OLAP服务器的比较1. 引言本文档旨在对不同的OLAP(联机分析处理)服务器进行比较和评估,以帮助用户选择适合其需求的最佳解决方案。
以下是针对各个方面细化讨论。
2. OLAP概述在这一章节中,我们将介绍什么是OLAP及其基本原理、功能和应用场景。
此外还会提供关于如何利用OLAP技术来支持企业决策制定过程等相关信息。
3. OLTP vs OLAP这里将详细阐述在线事务处理系统(Online Transaction Processing, 简称:OTLP)与联机分析处理系统之间的区别,并说明为什么需要专门设计并使用一个独立且高效率的数据库管理系统来满足数据分析需求。
4. 常见商业智能工具集成情况此部分主要列出常见商业智能(BI)工具所支持或整合了哪些市场上流行或者开源兼容性好得多种类型OALP服务端产品。
5. 关键特征比较对几款重点选取到相互竞品做深入剖析,在该章节下可以从查询速度、存储方式、可扩展性等角度去比较各个产品的优劣。
6. 性能和可扩展性在这一章节中,我们将重点讨论OLAP服务器在处理大规模数据集时的性能表现以及其可扩展性。
包括对于不同硬件配置、并发用户数等方面进行评估,并提供相应测试结果与分析。
7. 安全和权限控制本部分主要关注安全问题,如:多层次认证机制、基于角色或者对象级别精确到细致度(Granularity)去做权限管理。
8. 数据压缩技术这里会详述每种OLAP服务端所采用了哪些存储方式来实现高效率查询同时又保持低磁盘占有空间情况下达成最好平衡状态9. 高可用架构设计此处描述常见商业智能工具是怎么通过负载均衡器(Load Balancer),故障转移(Flover)策略去支撑企业生产环境10. 可视化报告功能对几款选取出得软件从图形界面友好程度上作一个简单介绍11 .附件:- OLAP服务器使用手册.pdf- 示例代码.zip12 .法律名词及注释:- OLTP: Online Transaction Processing,在线事务处理系统- OLAP: Online Analytical Processing,联机分析处理系统- BI:Business Intelligence, 商业智能。
数据仓库与OLAP实践教程作业(1)一、OLAP的发展背景60年代,关系数据库之父E.F.Codd提出了关系模型,促进了联机事务处理(OLTP)的发展(数据以表格的形式而非文件方式存储)。
1993年,E.F.Codd提出了OLAP概念,认为OLTP 已不能满足终端用户对数据库查询分析的需要,SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求。
用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。
因此,E.F.Codd提出了多维数据库和多维分析的概念,即OLAP。
在过去的十年当中,根据Codd的关于OLAP的十二条准则,OLAP技术有了很大的发展,市场上的各种OLAP产品可以说是层出不穷。
在开始探讨OLAP 技术的新方向之前,我们有必要回顾一下OLAP技术在过去一段时间的发展和演化:1970年第一个OLAP工具Express出现,后来被ORACLE公司收购并重写,但是在此时已经奠定了它的雏形。
1982年 Comshare出现,它应该算是一个面向金融行业的OLAP工具,熟悉IBM解决方案的朋友应该对这个名称比较熟悉,在数据仓库刚进入中国之初,comshare还是势头很猛,目前只在IBM的主机市场上出现了。
1984年,第一个基于Mac的ROLAP工具metaphor出现,由于该产品在当时昂贵的价格以及以后Mac机用户市场的下滑,现在已经没有人在使用这个东西了。
1985年pilot面世,这是第一个高举着EIS旗帜的OLAP供应商,属于典型的C/S结构,主机为Vax也算是把 OLAP向用户更加推进了一步。
不过遗憾的是好像没有进入中国市场。
1990年 cognos Powerplay终于出现,把OLAP技术又向前推进了一步,一方面提出desktop olap的概念,同时也是第一个基于windows的OLAP工具。
为OLAP提供了更加强劲的可扩展性。
1991年 IBM收购了metaohor,成为第一个转手的OLAP产品,虽然没有什么太大的影响,但是也算是为OLAP产品的收购开了先河。
1992年 Essbase发布,当时应该还是Arbor公司,但是在当时谁都没有想到它会成为后来的市场领先者。
1993年划时代的一年,Codd博士发表了关于OLAP的白皮书,传统上一般都会认为这是OLAP技术开始发展的一年,其实在此之前,已经有如此多的厂商尝试过这个领域了。
但是白皮书发表过之后,越来越多的人开始理解多维分析的概念。
1994年 MicroStrategy 发布,这是第一个完全基于关系型数据库的OLAP工具,所有的olap请求都被后台分割成一个或者多个SQL语句来执行。
可以说是OLAP技术和关系数据库技术的第一次亲密接触。
1995年 holos 4.0发布,这个产品应该是第一个混合性的OLAP工具,目前holos属于Crystal Decisions1995年 Oracle 收购Express,这是业界第一个大型的产品收购,同时也是第一数据库厂商对OLAP技术市场的冲击,这次收购对其他数据库厂商的触动很大。
后来几乎每一家数据库厂商都成为数据仓库市场的强劲竞争者。
1996年,BO 4.0发布,第一个同时支持OLAP和关系型数据库查询报表的工具,这再一次拉近了关系型数据库和多维OLAP分析的距离,意味着用户以后有可能不需要购买OLAP的专业展现工具了。
1997年,也就是这一年,MicroSoft又一次尝试统一标准,发布了OLE DB标准,虽然没有正式产品发布,但是这使OLAP领域第一次有了一个统一的标准。
现在的OLAP展现软件大多都支持这个标准。
1998 IBM姗姗来迟,推出自己的OLAP解决方案,其间OEM了EssBase作为OLAP Server 的引擎,曾经尝试把MOLAP结构保存在关系型数据库当中,遗憾的是,这个很好的想法在当时没能很好的实现,极差的性能导致IBM也不怎么推荐它的这一款产品。
另一方面IBM开始在中国全面推行它的商业智能的概念。
在国内掀起了一次数据仓库的热潮。
1998年,Hyperion公司与Arbor公司合并,这可能是业界的一次比较巨大的公司合并,Hyperion公司再此之后,一跃成为OLAP市场的领头羊,并持续保持领先位置。
1999年在这一年,一共发生了两件事情,一件是Microsoft的Plato正式面世,这一随SQL Server 7免费赠送的策略,让数据仓库放下它昂贵的架子,让越来越多的人能够熟悉和使用它。
另外一件事就是在国内如日中天的Platinum被CA 收购,而再此之前Platinum 刚刚收购了一家OLAP工具叫做Prodea Beacon,而这也创出了软件企业收购的记录35亿美金,次年,CA又收购了另外一家数据仓库厂商 Sterling,从此CA正式进入OLAP市场。
2000年,在SQL2000中,Microsoft把Plato改名为Analysis Services.2001年,ORACLE推出ORACLE 9i OLAP Option,实现了把多维数据库保存在关系型数据库当中的承诺。
成为业界第一个实现这种功能的产品。
OLAP技术终于可以和关系型数据库完全融合在一起了,在接下来的9i第二版当中,这个特性更是被发挥的淋漓尽致。
二、相关基本概念1.维:是人们观察数据的特定角度,是考虑问题时的一类属性,属性集合构成一个维(时间维、地理维等)。
2.维的层次:人们观察数据的某个特定角度(即某个维)还可以存在细节程度不同的各个描述方面(时间维:日期、月份、季度、年)。
3.维的成员:维的一个取值。
是数据项在某维中位置的描述。
(“某年某月某日”是在时间维上位置的描述)4.多维数组:维和变量的组合表示。
一个多维数组可以表示为:(维1,维2,…,维n,变量)。
(时间,地区,产品,销售额)5.数据单元(单元格):多维数组的取值。
(2000年1月,上海,笔记本电脑,$100000)三、OLAP特性1.传统OLAP系统的特点传统的OLAP系统一般都是捆绑在数据库应用系统中,作为解决方案的一部分提供给用户使用的,这种形式的解决方案就决定了传统OLAP工具的一些特点:(1) 建立数据仓库的标准不统一。
各个OLAP系统的数据接口没有通用的工业标准,用户在选择OLAP前端展现工具的灵活性受到了制约,受到数据库类型的制约,系统的扩展性和集成性不理想。
(2) 传统的OLAP工具一般都需要安装体积庞大的客户端应用程序,采用客户端/服务器(C/S)架构,提供了优秀的用户体验,可以提供复杂的分析功能。
目前越来越多的企业应用系统建立在J2EE(Java 2 Enterprise Edition)框架下,采用的是浏览器/服务器(B/S)架构,传统的工具明显无法满足要求。
(3) 对工具使用者的要求太高,传统OLAP系统的界面风格、操作流程等用户体验过于专业,企业决策者和管理者不易使用的工具没有发挥应有的价值,反而成为企业应用系统开发和使用中的负担。
2.现代OLAP的特点(1)快速性:用户对OLAP的快速反应能力有很高的要求。
系统应能在5秒内对用户的大部分分析要求做出反应。
(2)可分析性:OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。
(3)多维性:多维性是OLAP的关键属性。
系统必须提供对数据的多维视图和分析,包括对层次维和多重层次维的完全支持。
(4)信息性:不论数据量有多大,也不管数据存储在何处,OLAP系统应能及时获得信息,并且管理大容量信息。
四、目前OLAP系统的发展方向为了解决传统OLAP系统的不利因素,业界OLAP系统向着以下方向发展:(1) 数据格式应用XML(eXtensible Markup Language的缩写,可扩展标记语言),由于XML的结构化特性和可扩展性,系统开发中从分析模板的定义,数据的组织,结果的展现,均采用XML格式。
论文格式。
(2) 标准数据接口的使用。
论文格式。
由于企业应用系统变的越来越复杂,能跨操作系统,跨数据库的运行成为系统开发的重要需求,为了方便系统间集成,各大厂商开始采用统一的数据接口。
尤其是Web服务(Web Service)的出现,为客户端与数据提供者之间提供了一种可行的交互方式。
(3) 可视化组件的应用。
以图形的方式观察和认识客观事物,是人类最便捷的认知方式。
可视化技术包括科学计算可视化和数据可视化。
在数据的可视化方面,以各种不同的呈现形式展现给用户,这又被称为“前端展示”。
数据可视化在OLAP开发中起着重要的作用。
(4) 基于Web的开发逐渐成为趋势。
论文格式。
企业应用大量建立在基于Web方式的B/S架构上,具有①易于访问;②与平台无关;③较低的创建和维护成本3个优点。
原来普遍认为的基于B/S的应用程序用户体验较差的缺点,正在不断的发生改变,尤其是Web 2.0标准的发布,更强调了用户体验的增强,目前开发的基于Web的应用程序已经达到或超过了传统单机程序的易用性。
五、OLAP发展1.应用领域(1)市场和销售分析(Marketing and Sales analysis)(2)电子商务分析(Clickstream analysis)(3)基于历史数据的营销(Database marketing)(4)预算(Budgeting)(5)财务报告与整合(Financial reporting and consolidation)(6)管理报告(Management reporting)(7)利益率分析(Profitability analysis)(8)质量分析(Quality analysis)(9)OLAP标准APB-1(AQT-Analytical Query Time作为统计指标)(10)从联机分析处理到联机分析挖掘(OLAM/OLAP挖掘)六、 OLAP展望1.面向对象的联机分析处理O3LAP(Object-Oriented OLAP)2.对象关系的联机分析处理OROLAP (Object Relational OLAP)3.分布式联机分析处理DOLAP (Distributed OLAP)4.时态联机分析处理TOLAP (Temporal OLAP)七.OLAP相关产品1.HyperionHyperionEssbaseOLAPServer,在上面有超过100个的应用程序,有300多个用Essbase 作为平台的开发商。
具有几百个计算公式,支持过程的脚本预言,及统计和基于维的计算。
强大的OLAP查询能力,利用EssbaseQueryDesigner,商业用户可以不用IT人员的帮助自己构件复杂的查询。
广泛的应用支持,可以扩展数据仓库和ERP系统的价值,建立对电子商务、CRM、金融、制造业、零售和CPG(consumerpackagedgoods)等应用的分析程序。