当前位置:文档之家› 2010年商业智能研究分析报告

2010年商业智能研究分析报告

2010年商业智能研究分析报告
2010年商业智能研究分析报告

2010年商业智能研究分析报告

作者周倚平

商业智能通常被理解为将企业中现有的数据(业务,财务,研发等)转化为知识,帮助企业做出明智的业务经营决策的系统架构。为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘(DM)等技术。因此,从技术层面上讲,商业智能不是什么新技术,它只是数据仓库、OLAP和数据挖掘等技术的综合运用。

商业智能的形成过程:

采集(业务系统ERP)→组织存储(数据仓库)→分析预测(数据挖掘)→实时报表(OLAP)

相对来说做商务智能和ERP最大的区别在于ERP是流程驱动,商务智能是目标驱动。看企业究竟想做什么。

主流产品:

Cognos(IBM),SPSS(IBM),Hyperion(Oracle),BO(SAP,Crystal),Excel+SQL Server (Microsoft),Informatica,SAS

主要厂商

ETL:Informatica, SQL Server Analysis Server

DW:IBM DB2,Oracle,Sybase IQ,NCR Teradata

OLAP:Cognos,Business Objects,MicroStrategy,Hyperion,IBM

Data Mining:IBM,SAS,SPSS

1. 关键技术

1.1. ETL 过程

不同数据源(Oracle ,DB2,SQLServer ) 不同的数据(关系型数据,文档,图片,音视频)

商业智能的核心内容是从许多来自企业不同的业务处理系统的数据(分布的,异构的源数据)中,提取出有用的数据,进行清理以保证数据的正确性,然后经过抽取(Extraction )、转换(Transformation )和装载(Load ),即ETL 过程(本质上是样本提取的过程),整合到一个企业级的数据仓库里,从而得到企业信息的一个全局视图,在此基础上利用合适的查询和分析工具、数据挖掘工具等对数据仓库里的数据进行分析和处理,形成信息,甚至进一步把信息提炼出辅助决策的知识,最后把知识呈现给管理者,为管理者的决策过程提供支持。

ETL 特征:

l 以串行/并行方式,从不同异构数据源流向统一的目标数据,核心在于转换过程(关联,聚集),而抽取和装载一般可以作为转换的输入和输出。

l ETL 元数据主要包括每次转换前后的数据结构和转换的规则。

l 数据同步,数据ETL 是经常性的活动,按照固定周期运行,甚至实时运行。 l 庞大的数据量,需要ETL 工具有良好的伸缩性。

l 流程控制和数据验证机制。

下图是数据仓库/商业智能的完整的体系结构图,根据数据的不同形态,整个体系被划分为四个大的层面,并根据数据的处理和应用过程再细分成七个环节。从数据源经过抽取(Extra ,E)、转换(Transform ,T )、装载(Load ,L )过程加载到中央数据仓库, 再从数据仓库经过分类加工放到数据集市(DM, Data Market),或者将数据集市中的数据进一步存放到多维数据库(MDD, Multi-dimension Database),这都属于数据组织的问题,从中间层到终端用户或从多维数据库到终端用户可将其划归为前端应用实现的问题。而贯穿整个体系数据处理环节的,是系统的流程调度控制和元数据管理。

数据仓库 ETL

1.2. 数据仓库(DW)

按照W.H.Inmon 这位数据仓库权威的说法,“数据仓库(Data Warehouse)是一个面向主题的、集成的、时变的、非易失的数据集合,支持管理部门的决策过程”。这个简短而又全面的定义指出了表明数据仓库主要特征的四个关键词:面向主题的、集成的、时变的、非易失的,将数据仓库与其他数据存储系统(如关系数据库系统、事务处理系统和文件系统)区别开来。

面向主题的(subject-oriented):数据仓库围绕一些主题,如顾客、供应商、产品和销售组织。数据仓库关注决策者的数据建模与分析,而不是集中于组织机构的日常操作和事务处理。因此,数据仓库排除对决策无用的数据,提供特定主题的简明视图。

集成的(integrated):通常,构造数据仓库是将多个异种数据源,如关系数据库、一般文件和联机事务处理记录集成在一起。使用数据清理和数据集成技术,确保命名约定、编码结构和属性度量等指标的一致性。

时变的(time-variant):数据存储从历史的角度提供信息。数据仓库中的关键结构,隐式或显式地包含时间元素。

非易失的(nonvolatile):数据仓库的数据是有历史保存意义的,数据仓库的数据也只使用添加的方式,进入了数据仓库的数据一般情况下是不需要更新的,这样就保证了数据的稳定性。通常,它只需要三种数据访问:数据的初始化装入、数据的添加和数据查询访问。

在已有的数据仓库实践中,关系数据库仍然是实质的数据库存储工具,只是将数据库表改称为了事实表和维表,将属性域之间的关系重新定义为维度,量度,层次,粒度等。事实表是用来记录具体事件的,包含了每个事件的具体要素,以及具体发生的事情;维表则是对事实表中事件的要素的描述信息。

数据仓库的架构模型包括了星型架构与雪花型架构两种模式。星型架构的中间为事实表,四周为维度表,类似星星;而相比较而言,雪花型架构的中间为事实表,两边的维度表可以再有其关联子表,从而表达了清晰的维度层次关系。

销售数据仓库中的星型模型

销售数据仓库中的雪花型模型

构建企业级Data仓库五步法

(一) 确定主题

即确定数据分析或前端展现的主题。例如:我们希望分析某年某月某一地区的啤酒销售情况,这就是一个主题。主题要体现出某一方面的各分析角度(维度)和统计数value型数据(量度)

之间的关系,确定主题时要综合考虑。

我们可以形象的将一个主题想象为一颗星星:统计数value型数据(量度)存在于星星中间的事实表;分析角度(维度)是星星的各个角;我们将通过维度的组合,来考察量度。那么,“某年某月某一地区的啤酒销售情况”这样一个主题,就要求我们通过时间和地区两个维度的组合,来考察销售情况这个量度。从而,不同的主题来源于数据仓库中的不同子集,我们可以称之为数据集市。数据集市体现了数据仓库某一方面的信息,多个数据集市构成了数据仓库。

(二) 确定量度

在确定了主题以后,我们将考虑要分析的技术指标,诸如年销售额之类。它们一般为数value 型数据,称为量度。量度是要统计的指标,必须事先选择恰当,基于不同的量度可以进行复杂关键性能指标(KPI)等的设计和计算。

(三) 确定事实数据粒度

在确定了量度之后,我们要考虑到该量度的汇总情况和不同维度下量度的聚合情况。考虑到量度的聚合程度不同,或采用“最小粒度原则”,即将量度的粒度设置到最小。

(四) 确定维度

维度是指分析的各个角度。例如我们希望按照时间,或者按照地区,或者按照产品进行分析,那么这里的时间、地区、产品就是相应的维度。基于不同的维度,我们可以看到各量度的汇总情况,也可以基于所有的维度进行交叉分析。

(五) 创建事实表

在确定好事实数据和维度后,我们将考虑加载事实表。在公司的大量数据堆积如山时,我们

想看看里面究竟是什么,结果发现里面是一笔笔生产记录,一笔笔交易记录…那么这些记录是我们将要建立的事实表的原始数据,即关于某一主题的事实记录表。事实表是数据仓库的核心。

数据仓库供应商

目前主要的数据仓库产品供应商包括Oracle、IBM、Microsoft、SAS、Teradata、Sybase、Business Objects等。其特点是分布式运行,高伸缩性,支持不同操作系统,支持主流数据库,支持主流OLAP客户端。

Oracle公司的数据仓库解决方案包含了业界领先的数据库平台、开发工具和应用系统,能够提供一系列的数据仓库工具集和服务,具有多用户数据仓库管理能力,多种分区方式,较强的与OLAP工具的交互能力及快速和便捷的数据移动机制等特性;

IBM公司的数据仓库产品称为DB2 Data Warehouse Edition,它结合了DB2数据服务器的长处和IBM的商业智能基础设施,集成了用于仓库管理、数据转换、数据挖掘以及OLAP分析和报告的核心组件,提供了一套基于可视数据仓库的商业智能解决方案。

微软的SQL Server提供了三大服务和一个工具来实现数据仓库系统的整合,为用户提供了可用于构建典型和创新的分析应用程序所需的各种特性、工具和功能,可以实现建模、ETL、建立查询分析或图表、定制KPI、建立报表和构造数据挖掘应用及发布等功能。

SAS公司的数据仓库解决方案是一个由30多个专用模块构成的架构体系,适应于对企业级的数据进行重新整合,支持多维、快速查询,提供服务于OLAP操作和决策支持的数据采集、管理、处理和展现功能。

Teradata公司提出了可扩展数据仓库基本架构,包括数据装载、数据管理和信息访问几个部分,是高端数据仓库市场最有力竞争者,主要运行在基于Unix操作系统平台的NCR硬件设备上。

Sybase(SAP)提供了称为Warehouse Studio的一整套覆盖整个数据仓库建立周期的产品包,包括数据仓库的建模、数据集成和转换、数据存储和管理、元数据管理和数据可视化分析等产品。

Business Objects(SAP)是集查询、报表和OLAP技术为一身的智能决策支持系统,具有较好的查询和报表功能,提供多维分析技术,支持多种数据库,同时它还支持基于Web浏览器的查询、报表和分析决策。

1.3. 元数据(Meta-data)

元数据通常定义为“关于数据的数据(例如视图,查询SQL,事务,存储过程)”,是描述和管理数据仓库自身内容对象、用来表示数据项的意义及其在系统各组成部件之间的关系的数据。元数据作用于数据仓库的创建,维护,管理和使用的各个方面。是从广义上来讲,用元数据来描述数据仓库对象的任何东西——无论是一个表、一个列、一个查询、一个商业规则,或者是数据仓库内部的数据转移。它在数据源的抽取、数据加工、访问与使用等过程中都会

存在。实现元数据管理的主要目标就是使企业内部元数据的定义标准化。数据仓库的维护工具可以根据元数据完成数据的抽取、清洗和转换,并做适度的汇总。

数据仓库的元数据包括:

(1)数据资源:包括各个数据源的模型,描述源数据表字段属性及业务含义,源数据到数据仓库的映射关系;

(2)数据组织:数据仓库、数据集市表的结构、属性及业务含义,多维结构等等;

(3)数据应用:查询与报表输出格式描述、OLAP、数据挖掘等的数据模型的信息展现;(4)数据管理:这里包括数据仓库过程以及数据仓库操作结果的模型,包括描述数据抽取和清洗规则、数据加载控制、临时表结构、用途和使用情况、数据汇总控制。

1.4. 数据挖掘(DM,Data Mining)

数据挖掘(Data Mining)是采用数学的、统计的、人工智能(人工生命,数篇论文)和神经网络等领域的科学方法,从大量数据中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势, 并用这些知识和规则建立用于决策支持的模型,为商业智能系统服务的各业务领域提供预测性决策支持的方法、工具和过程。

数据挖掘前身是知识发现(KDD,Knowledge Discovery in Databases),属于机器学习的范畴,所用技术和工具主要有统计分析(或数据分析)和知识发现。知识发现与数据挖掘是人工智能、机器学习与数据库技术相结合的产物,是从数据中发现有用知识的整个过程。

相对于传统的统计分析,数据挖掘常常需要实时分析,并且还可以分析保存在网络不同计算机上的多维数据。

1.4.1. 数据挖掘的步骤

数据挖掘通常分为三个步骤

1.数据选择

数据选择过程是根据用户的挖掘目标,交互式地完成对源数据的裁减,使生成的目标数据只集中在与挖掘目标相一致的数据上。目标数据应该以适合于挖掘的形式进行组织,常用的是关系数据库或多维数据立方体等形式。

2.模型建立

数据特征探索、分析和预处理,消除数据中的噪声,然后建立挖掘模型并实施对应的算法。

3.模型验证

不论是自己建立挖掘模型还是选取或改进已有模型都必须要进行验证。这种验证最常用的方法是样本学习。先用一部分数据建立模型,然后再用剩下的数据来测试和验证这个模型。

数据挖掘是一个反复的过程。通过反复的交互式执行和验证才能找到解决问题的最好途径。通过不断地产生、筛选和验证,才能把有意义的知识集成到企业的知识库或商业智能系统中去。

1.4.

2. 数据挖掘的主要方法

分类:样本分析

分类分析是通过分析具有类别的样本的特点,得到决定样本属于各种类别的规则或方法。利用这些规则和方法对未知类别的样本分类时应该具有一定的准确度。分类分析可以根据客户的购买水平和基本特征对客户进行分类,找出对企业有较大利益贡献的重要客户的特征,通过对其进行个性化、贵宾式的服务,提高他们的忠诚度,进行深度开发。

分类流程一般分为训练和分类两个阶段:

训练:训练集——>特征选取——>训练——>分类器

分类:新样本——>特征选取——>分类——>判定

分类分析的主要算法有:

1.贝叶斯分类

贝叶斯分类是利用贝叶斯公式,通过计算每个特征下分类的条件概率,来计算某个特征组合实例的分类概率,选取最大概率的分类作为分类结果,朴素贝叶斯分类要求各特征间是相互独立的,对异常的反应敏感。常见的贝叶斯分类器有Naive Bayes, TAN, BAN, GBN等方法。

2.KNN法

KNN(K-Nearest Neighbor)法即K最近邻法,最初由Cover和Hart于1968年提出的,是一个理论上比较成熟的方法。该方法的思路非常简单直观:如果一个样本在特征空间中的K个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。该方法的不足之处是计算量较大。

3.SVM法

SVM法即支持向量机(Support Vector Machine)法,由Vapnik等人于1995年提出,具有相对优良的性能指标。该方法是建立在统计学习理论基础上的机器学习方法。通过学习算法,SVM可以自动寻找出那些对分类有较好区分能力的支持向量,由此构造出的分类器可以最大化类与类的间隔,因而有较好的适应能力和较高的分准率。该方法只需要由各类域的边界样本的类别来决定最后的分类结果。

聚类分析:马氏距离,K距离

聚类分析(Cluster)根据已知数据,计算各观察个体或变量之间亲疏关系的统计量(距离或相关系数)。根据某种准则(最短距离法、最长距离法、中间距离法、重心法),使同一类内的差别较小,而类与类之间的差别较大,最终将观察个体或变量分为若干类。

聚类分析主要用在客户和市场细分方面。以客户关系管理为例,利用聚类分析,根据客户在不同特征如性别、年龄、收入水平、交易历史、教育状况、家庭情况等方面的相似程度,对客户进行分类。通过聚类分析,企业往往可以发现客户的喜好或行为模式,了解客户的共性,从而提供有针对性的客户服务,提高企业服务成功率,如提供针对性的产品组合等等。

根据分类的原理可将聚类分析分为系统聚类与快速聚类。系统聚类法是聚类分析方法中使用最多的一种,按下列步骤进行:

1、将n个样品看成为n类

2、计算这n个样品两两之间的距离,构成距离矩阵

3、计算新类与当前各类的距离。再合并、计算,直至只有一类为止

4、画聚类图,解释类与类之间的距离

距离算法

?最短距离法(single linkage)

?最长距离法(complete linkage)

?中间距离法(median method)

?类平均法(average linkage)

?可变类平均法(flexible-beta method)

?重心法(centroid method)

?Ward离差平方和法(Ward's minimum-variance method)

?Mcquitty的相似分析法(Mcquitty's similarity analysis)

?最大似然估计法(EML)

?密度估计(density linkage)

?两阶段密度估计法(two-stage density linkage)

记住:样本聚类有可能数据排列不同聚类结果不同,要进行聚类后的稳定性测试,一般也要采用方差最大旋转,有时候斜交更适合聚类细分。

关联分析:发现关联规则,事件序列,相似性时间序列

关联分析(Association)反映一个事件和其它事件之间的依赖或关联。数据库中的数据关联是现实世界中事物联系的表现。关联可分为简单关联、时序(Time Series)关联、因果关联、数量关联等。这些关联并不总是事先知道的,而是通过数据库中数据的关联分析获得的,因而对商业决策具有新价值。

关联分析常被用于市场购物篮分析、交叉销售,促销计划等。例如,在寻求诸如当购买油漆时是否购买刷子一类的模式过程中,人们发现,如果顾客购买了油漆,有20%的可能性也会购买刷子。

为了发现出有意义的关联规则,需要给定两个阈值:最小支持度(Minimum Support)和最小可信度(Minimum Confidence) 。挖掘出的关联规则必须满足用户规定的最小支持度,它表示了一组项目关联在一起需要满足的最低联系程度。挖掘出的关联规则也必须满足用户规定的最小可信度,它反映了一个关联规则的最低可靠度。在这个意义上,数据挖掘系统的目的就是从源数据库中挖掘出满足最小支持度和最小可信度的关联规则。

最为著名的是Agrawal等提出的Apriori及其改进算法。算法基于“频繁项目集的子集是频繁项目集;非频繁项目集的超集是非频繁项目集”的理论。核心目标是发现频繁大项集(>最小可信度),进而在这些频繁大项集中寻找关联规则(>最小支持度)。

传统的事务数据库挖掘所研究的知识一般是单维(Single-Demension)的。例如,“购买计算机的人也购买打印机”这样的知识,它刻画了以“购买”行为作为聚焦点(维)的商品间的关联。但是,在关系型数据库中,仅有这样的知识可能还不够。例如,人们可能进一步想知道“什么样购买计算机的人也购买打印机的可能性更大?”,因此,象“收入高的

人在购买计算机时也购买打印机”这样的知识更需要。由于关系型数据库可以存储包含收入情况等的客户基本资料以及客户购买记录,所以这样的知识是可以获得的。这样的知识是多维(Multi-Demension)的,因为它有两个聚焦点:购买和收入。

统计分析方法

非线性回归分析(Nonlinear regression)、逻辑回归分析、单变量分析、多变量分析、时间序列分析、最近邻算法

T检验

假设检验方法,主要用来比较两个总体均值的差异是否显著。

方差分析(Analysis of Variance,ANOVA)

超过两个总体的均值检验,也经常用于实验设计后的检验问题。

主成分分析和因子分析

主成分分析(Principle Analysis)和因子分析(Factor Analysis)目标是找出多个潜藏的变量之间的关系,主要用在消费者行为态度等研究、价值观态度语句的分析、市场细分之前的因子聚类等,问卷的信度和效度检验等,因子分析也可算是数据的预处理技术。主成分分析与因子分析是两种方法,要能够区分。主成分分析可以消减变量,权重等,主成分还可以用作构建综合排名。

时间序列分析

时间序列分析(Time Sequence)用于识别具体具有先后次序的不同时间之间的关联性。比如,客户一月购买了饭盒和帐篷,二月购买了旅行背包和录像带,三月购买了睡袋。时间序列分析查看所有记录并返回如下规则:如果一月的购买目标中包括饭盒,则三月购买睡袋的机率是30%。关联分析可发现时间相关性.。

回归分析

回归分析(Regression Analysis)是重要的认识多变量分析的基础方法,只有掌握了回归我们才能进入多变量分析,其它很多方法都是变种。主要用在影响研究、满意度研究等,当然市场研究基本上是解释性回归分析,也就是不注重预测而关注解释自变量对因变量的影响。主要把握R平方、逐步回归、标准化回归系数(当作权重或重要性)等;回归也是预处理技术,缺省值处理等。

Logistics回归技术

分类技术,主要针对因变量是0-1情况下的判别,该技术是我们认识非线性关系的重要基础,很多情况下,我们需要作出是与否的判断,基础模型就是它了,像客户离网分析、客户价值分析、客户信用等都用这个模型;

决策树(Decision trees):主要用于分类和细分,分析事件分支及概率分布

决策树是将特征的判别序列形成一颗树,从树根到叶子节点进行每个节点的判断,叶子节点处对应某个类别标号,就是最终的分类结果。

决策树分类的关键是树的构造,由每个节点引申每个属性的判别分支。如何选择特征属性的

判别顺序?一种方法是利用每个特征对最终分类结果的区分度(训练集中),常用的区分标准有卡方,信息增益,信息增益率。主要的决策树算法有ID3,C4.5,CHAID,CART,Quest和C5.0。

神经网络方法:正向传播和反向传播

神经网络(Neural networks)方法的目标是捕获市场巴素(如广告等促销手段)与总的销售额间的复杂关系,找出输人量变化引起的输出量波动之间的映射关系,通过神经网络的预报模型和敏感性分析可能找出重要的影响因子,此模型能够在给定的短期预报中取得良好的性能。

反向传播神经网络适合于每日或每周数据预报.与反向传播相比,正向传播神经网络在速度方面更具优势。

遗传算法(人工生命)

博弈算法

许多业务问题可以映射到数据挖掘技术

聚类分析结果样例(IBM)

决策树分析结果样例(IBM)

1.5. 联机分析处理技术(OLAP )

联机分析处理技术是独立于数据仓库的一种技术,它通过快速、一致、交互地访问各种可能的信息视图,帮助数据分析人员、管理人员、决策人员掌握数据之间的规律。

OLAP 是多维分析工具,它具有:快速性、可分析性、共享性、多维性、和信息信等特点。在OLAP 中,信息被抽象为一个数据立方体(Cube),一个立方体由维(Dimension )和度量(Measure )构成。维是相同数据的集合(产品,时间,地区,财务指标),度量是个定量的值。这个多维的数据模型是OLAP 的核心,也是商务智能的支柱。OLAP 的目的是帮助用户完成维度之间各种组合的汇总。

数据模型 = 业务模型

主流的OLAP 产品有Oracle Express/Discoverer 、SQL Server Analysis Services 、DB2 OLAP Server 、SAS OLAP Server 等,这些产品都可以生成多维数据立方体,提供多维数据的快速分析,支持所有主流关系型数据库如DB2,Oracle ,SQL Server ,Sybase 等,同时可读取关系数据库中细节数据,实现混合在线分析(HOLAP)或关系型在线分析(ROLAP)。

2. 商业智能应用领域

商务智能的应用分为纵向商务智能和横向商务智能。

纵向商务智能是指企业分别实施多个信息化系统,比如财务系统中的管理会计就是商务智能的一部分,从以前只关注运营报表,到关注整个财务的运作情况,像现金流、资产负债等。而人力资源系统可以称为智能人力资源,关注员工的流失率,分析从什么途径招聘的员工流失率最高,分析公司人才结构、人才培养方向等。总而言之,企业有了核心业务系统、管理信息系统,在这些系统之上做智能的分析,而这些分析得到的信息完全是来自单独的系统。

那么横向商务智能指的是什么呢?举例来说,比如汽车制造厂生产多款不同的车型,公司老总会问,生产哪一款车型、生产多少,企业的效率能够达到最高?这样的问题,不能通过分析单独的系统得到,因为效益最高取决于生产成本、人力资源成本、市场的需求、竞争对手、市场定价等多方面的信息。而这些信息则分散在财务系统、人力资源系统、采购系统中,这就需要系统和信息有效的整合才能解决这个问题,所以称为横向商务智能。

2.1. 行业市场分析※

市场研究发展历史

发展趋势:

?数量型研究向非数量型研究发展

?数据可视化技术(OLAP)

?数据挖掘技术

2.2. 财务智能分析

可以用于预算、决算、成本控制、财务规划等关键的财务数据分析和报告。可以从各种总帐系统中得到数据并且具有简单易用的分析界面。项目、分析和预算经理们可以通过该系统进

行成本控制、分析利润、评估商业机会,并规定未来的发展方向。

费用分析从公司、部门、人员多个角度分析管理费用、财务费用和营业费用

的变化趋势,实现有效的费用控制

收入成本分析对主营业务收入与主营业务成本、其他业务收入与其他业务成本、

营业外收入和营业外支出进行单位、部门、人员、物料的分析,得

出收入支出的整体变化趋势

利润分析对主营业务利润、营业外利润、其他业务利润、销售税金及附加、

所得税等项目进行详细的分析

应收分析分析应收帐款、其他应收款的客户和应收款的帐龄,帮助企业实施

催款计划,以帮助企业减小应收款的收款风险

应付分析分析应付帐款、其他应付款的对象和付款时间期限,以帮助企业安

排合理的资金流出

项目分析:对每个项目的收款情况、付款情况、合同款、应收款、项目的净现

金流情况、项目的盈利状况进行实时的追踪

预算执行情况分析该分析用于企业实现真正、及时的预算控制,将实际数与预算数进

行比较,计算出差异额,累计差异额等数值。

2.3. 客户智能分析※

随着商业竞争日益加剧,公司希望能最大限度的从广告中得到销售回报,他们希望能有更多的用户来响应他们的广告。所以他们就必需要在投放广告之前做大量的市场分析工作。例如,根据自己的产品结合目标市场顾客的家庭收入,教育背景和消费趋向分析出哪些地区的住户或居民最有可能响应公司的销售广告,购买自己的产品或成为客户,从而广告只针对这些特定的客户群。这样有的放矢的筛选广告的投放市场既节省开销又提高了销售回报率。

客户特征分析潜在客户(发现新客户)

客户偏好(留住老客户)

客户群体划分(Customer Segmentation & Classification)

客户背景分析(Profile Analysis)

客户价值分析客户信用记分(Credit Scoring)

客户忠诚度

客户购买力

客户流失分析

流失的原因(价格,服务,营销…)

(Churn Analysis)

IBM客户流失管理实例

2.4. 销售智能分析

销售智能分析是为向销售专业人员提供复杂商务问题解决方案而设计的。通过其广泛的报告能力,帮助老板、销售经理和分析家获得实时企业销售概况,以便达到销售定额,评估当前业绩,并做出不断的改进。

销售地区分布依时间、产品销售数据为依据,统计分析销售量的地区分布状况,

为企业制定销售计划提供依据。

销售季节性分析提供产品销售的波动周期,以使企业合理制定销售计划和组织生

产。

产品价格分析通过分析产品销售价格和销售数量,提供给用户某产品当前所处状

态为产品生命周期的哪个阶段,进而编制相应的运营计划。

分析多种产品之间销售数量或价格的关系

销售交叉分析

(Cross-selling)

产品盈利能力分析区分产品盈利水平,以合理安排企业资源。

交货周期分析通过对销售历史数据的统计分析,得到企业产品的销售周期和销售

周期增减趋势,从而及时发现产品交货周期中存在的问题,缩短交

货周期,进而提升客户满意度。

销售退货分析通过对销售历史数据的统计分析,得到企业产品退货原因,进而发

现改进机会,提高质量和客户满意度。

2.5. 采购智能分析

采购主管可以通过智能分析很快找到节约资金的方法,并且可以轻松地管理费用支出。可以使管理者们浏览费用明细、分析采购数据、衡量业绩表现,并且采取可以节约成本的措施。

采购提前期分析依据采购业务历史数据,分析物料的采购提前期和安全期分析,提

供采购提前期和安全期等企业基础数据。

采购ABC分析依据期间内采购业务数据,分析企业材料采购的重点。提供管理层

参考信息。

采购材料价格趋势分

统计分析材料的价格趋势,提供采购决策依据。

2.6. 生产智能分析

分析和识别在制造中与料单、产品、生产和库存相关的成本核算信息的各种关系。同时查看实际的和标准的成本数据。成本数据可按项目成本、已购买的原材料或资源进行分析。还可从成本对比、成本构成、成本提高、成本影响,或者从基于业务处理的用户的角度对成本数据进行进一步的分析。

库存周转率分析提供企业库存周转率分析结果,用以考核企业库存管理水平。

库存ABC分析提供库存ABC分析报表,方便用户管理重点物料和安排盘点计划。呆滞料分析分析库存中的呆滞料,提供相关决策信息。

3. 商业智能实施

3.1. 商业智能实施的层次

实施商务智能一定是业务驱动,目标导向。与ERP等系统最大的区别是,ERP是企业的运营系统,管理企业的日常流程,以流程为导向。而商务智能是目标导向,那么要做好商务智能,企业要明确解决什么问题。当企业明确了要解决的问题后,再分析为了解决这些问题要采取哪些方式。

企业级商业智能的构建是一个系统工程,它有三个层次,需要一步一步建设。第一个层次Business i-Mode是整个BI工程的基础,第二个层次Business Integration 是整个BI工程的技术实现基础,第三个层次Business Intelligence才是真正意义上的商业智能的软件实现。

第一层:企业商业模型设计

企业级BI系统的第一个层次是Business i-Mode。i-mode(Information-Mode)是指基于信息系统的企业商业模型设计,这是BI的基础。在做商业智能分析之前,我们要了解为谁分析和分析什么。比如企业要确定战略,就要有历史数据支撑其决策,我们需要先知道需要什么决策信息,这些决策信息要通过什么商业模型才能得到。接下来再从信息系统中挖掘这些数据,并通过模型计算得到这些决策信息。这个基于BI的系统,叫DSS(数据决策支持系统)。DSS为管理层提供不同模式下的商业价值分析。比如,在人力资源系统中企业需要找到与战略相匹配的人才,就需要先建立人才筛选模型,确定战略人才有什么特征然后通过数据挖掘,把企业的战略人才找出来。

再比如,在销售管理系统中企业要找到有价值的客户群,就需要建立客户价值模型,再根据高价值客户的特征,通过数据挖掘,筛选出企业的高价值客户,并针对这些高价值客户进行有针对性的精准营销和交叉销售。沃尔玛曾经对超市一年多原始交易数字进行详细地智能分析,发现了尿布和啤酒神奇的组合。它把尿布和啤酒摆在一起出售,使得尿布和啤酒的销量双双增加。沃尔玛商业智能分析的基础就是他们建立的交叉销售预测模型。

因为各个企业的运营模式不一样,需要的模型也不一样,很难有现成的软件去解决企业个性化的模型需求。正因为如此,管理咨询公司结合BI的软件厂商共同为企业提供整体解决方案将成为BI市场的主流。

第二层:不同系统的数据整合

第二个层次的BI是Business Integration,即不同信息系统的数据整合,这是BI的技术实现基础。因为随信息系统在企业的普及,一个企业里一般存在大量不同类型的管理软件,如ERP、CRM、EIP、OA、CAD、CAPP、PDM等。每个管理软件都会产生自己的管理数据,BI需要从不同的系统和数据库中挖掘这些数据,这就需要全企业数据规则的统一。

第三层:数据的智能分析

第三个层次的BI是Business Intelligence,也就是数据的智能分析,这才是真正意义上的BI。BI软件将各业务单位的数据通过整合,建成数据仓库,然后采用商业智能手段为集团统一视角把控、分析生产经营情况和决策提供信息化辅助手段。BI是计算机技术(包括数据仓库、数据集市技术、数据挖掘技术)和企业管理技术(包括统计、预测等运筹学方法)的综合。

BI可以在数据管理功能(从多个数据源为特定应用领域的信息系统进行联机事务处理)、数据分析功能(具备联机分析处理等多种数据分析功能、终端信息查询和报表生成能力、数据可视化能力)、知识发现功能(从大型数据库的数据中提取人们感兴趣的知识的能力)、企业优化功能(企业决策者可以根据从BI系统中得到的决策支持信息,增强企业的竞争能力)等方面为企业提供管理帮助。

商业智能实施的风险

谈到商业智能的实施,必须首先了解进行数据仓库/商业智能项目的开发存在什么样的风险,它主要有三大类风险:技术风险、工程管理风险和业务风险。

技术风险:开发人员不能使技术正确地发挥的风险,主要反映在对技术不了解,对技术不精通,不能解决开发过程中的技术问题等方面。

工程管理风险:即使开发团队采取了正确的技术,并正常地使用了它,但还是存在不能按时或按预算完成工程的开发和实施。

业务风险:是指系统不能满足业务人员的要求,或者由于业务的发展已经不合用,工程完工后却没有人使用它。

3.2. 商业智能实施的经验

商业智能实施的核心步骤

1)数据种类少、数据量大是企业实施商业智能应用的最佳环境,因为这将有利于数据整合、转换、清洗、抽取、装载及数据模型的建立。

2)先导入ERP有利于数据整合,减少导入BI系统的工作量,缺点是需要增加ERP的导入周期。

3)首先确定企业需求,定义明确的目标和收益率,以重点业务为突破口(自上而下),选择合适的数据仓库产品和系统架构,迅速部署,风险控制,然后在使用中逐步调整和完善整个BI系统。

4)从一开始就采取统一的综合性的措施来建立数据仓库,确保所用的数据是可靠的。

5)与主管充分沟通(如果有同业有成功的导入案例,通常是取得主管支持的好方法),系统上线后对使用人员进行必要的培训,鼓励使用。

6)设立专门的数据分析师。BI的目的是要从中找出最有价值的数据,如果没有相应的人对其进行跟踪处理,它的价值也就只停留在迅速做出报表的层面了。

永远不要因为你认为需要BI就购买BI软件。不要先购买了BI软件再去考虑哪些地方可能需要,而应该是已经明确在哪些地方需要应用BI后再去购买和部署。

商业智能项目是一个需要不断优化的循环过程,而不是一个可以一步到位的结果,在整个企业发展商业智能的过程中,重复是很正常的,也是很必然的。

3.3. 商业智能的实施方法

一般而言,有三种方式:

1)自上而下

把数据仓库定义为一个大系统,“全局考虑,全面实施”,建立适合企业信息共性需求的完整的数据模型,然后从业务运营系统中提取数据,进行数据的清洗、合并、规范化和合理化,

传统分析与大数据分析的对比

传统分析与大数据分析的 对比 This manuscript was revised on November 28, 2020

“大数据”是用来表示大量的没有按照传统的相关格式存储在企业数据库中的非结构化数据的总术语。以下是大数据的一般特点。 数据存储量相对于当前企业TB(TERA BYTES)字节的存储限制,定义在PB(PETA BYTES)字节,EXA字节以及更高的容量顺序。 通常它被认为是非结构化数据,并不适合企业已经习惯使用的关系型数据库之下 数据的生成使用的是数据输入非传统的手段,像无线射频识别(RFID),传感器网络等。 数据对时间敏感,且由数据的收集与相关的时区组成。 在过去,专业术语“分析”应用于商业智能(BI)世界来提供工具和智能,通过对各种各样可能的信息视角的快速的、一致的、交互式访问获得洞察力。 与分析的概念非常接近,数据挖掘已经应用于企业以保持关键监测和海量信息的分析。最大的挑战就是如何通过大量的数据挖掘出所有的隐藏信息。 传统数据仓库(DW)分析相对于大数据分析 企业数据的分析朝着在一段时间内在那种内容中的信息的有意义的洞察,是大数据分析区别于传统数据仓库分析的原因所在。下表总结了一些它们之间的差别。 大数据分析用例 基于用例,企业可以理解大数据分析的价值和在大数据分析的帮助下如何解决传统的问题。以下是一些用法。 客户满意度和保证分析:也许这是基于产品的企业所担心的最大的一个领域。在当今时代,没有一个清晰的方式来衡量产品的问题和与客户满意度相关的问题,除非他们以一个正式的方式出现在一个电子表格中。

信息质量方面,它是通过各种外部渠道收集的,而且大多数时候的数据没有清洗 因为数据是非结构化数据,无法关联相关的问题,所以长期的解决方案提供给客户 分类和分组的问题陈述都缺失了,导致企业不能对问题进行分组 从上面的讨论中,对客户满意度和保证分析使用大数据分析将帮助企业在急需的客户注意力设置中获得洞察力,并有效地解决他们的问题以及在他们的新产品线上避免这些问题。 竞争对手的市场渗透率分析:在今天高度竞争的经济环境下,我们需要通过一种实时分析对竞争者强大的区域和他们的痛点进行衡量。这种信息是可适用于各种各样的网站、社交媒体网站和其他公共领域。对这种数据的大数据分析可以向企业提供关于他们产品线的优势、劣势、机遇、威胁等非常需要的信息。 医疗保健/流行病的研究和控制:流行病和像流感这样的季节性疾病在人群中以一定的模式开始,如果没有及早发现和控制,它们就会传播到更大的区域。这对发展中以及发达的国家都是一个最大的挑战。当前绝大部分时间的问题是人们之间的症状各异,而且不同的医护人员治疗他们的方法也不同。人群中也没有一种常见的症状分类。在这种典型的非结构化数据上采用大数据分析将有助于地方ZF有效地应对疫情的情况。 产品功能和用法分析:大多数产品企业,尤其是消费品,不断在他们的产品线上增加许多功能,但有可能一些功能不会真正地被顾客所使用,而有些功能则更多地被使用,对这种通过各种移动设备和其它基于无线射频识别(RFID)输入捕捉到的数据的有效分析,可以为产品企业提供有价值的洞察力。 未来方向的分析:研究小组分析在各种业务中的趋势,而这种信息通过行业特定门户网站甚至常见的博客可以获得。对这种未来数据的不断分析将有助于企业期待未来,并将这些期待带入他们的生产线。 总结 大数据分析为企业和ZF分析非结构化的数据提供了新的途径,这些非结构化数据到目前为止在典型的企业数据仓库的情景中被数据清洗的惯例所拒绝。然而从以上用例明显看出,这些分析在改善企业的运营方面有很长的路要走。我们在未来的日子里将会看到更多的产品和应用系统在这个市场上出现。

人工智能项目投资建设可行性研究报告

人工智能项目 投资建设可行性研究报告规划设计/投资分析/产业运营

摘要 人工智能在投资研究上的应用。通过人工智能技术拓宽投资信息来源,提高获取信息的及时性,减少基础数据处理的工作量,通过自动化的数据 分析,为投资决策提供参考,从而提高投资研究的效率。人工智能在资本 市场相关领域的应用。从使用者的角度来看,智能投研的受众包括各种类 型的投资者(买方)、券商(卖方)、监管机构、银行和财经媒体等。从 投资的标的来看覆盖一级市场公司、股票、债券、外汇等。而人工智能的 应用场景涉及业务的各种环节,与投研直接相关的就包括研究、投资、交 易和风险管理。 人工智能是新一轮产业变革的核心驱动力,将进一步释放历次科技革 命和产业变革积蓄的巨大能量,并创造新的强大引擎,重构生产、分配、 交换、消费等经济活动各环节,形成从宏观到微观各领域的智能化新需求,催生新技术、新产品、新产业、新业态、新模式。人工智能正在与各行各 业快速融合,助力传统行业转型升级、提质增效,在全球范围内引发全新 的产业浪潮。国家高度重视人工智能产业的发展。2017年国务院发布《新 一代人工智能发展规划》,对人工智能产业进行战略部署;在2018年3月 和2019年3月的政府工作报告中,均强调指出要加快新兴产业发展,推动 人工智能等研发应用,培育新一代信息技术等新兴产业集群壮大数字经济。

该人工智能项目计划总投资17992.77万元,其中:固定资产投资13304.66万元,占项目总投资的73.94%;流动资金4688.11万元,占项目总投资的26.06%。 本期项目达产年营业收入43788.00万元,总成本费用33492.60万元,税金及附加350.28万元,利润总额10295.40万元,利税总额12065.74万元,税后净利润7721.55万元,达产年纳税总额4344.19万元;达产年投资利润率57.22%,投资利税率67.06%,投资回报率42.91%,全部投资回收期3.83年,提供就业职位644个。

中国商业智能(BI) 市场调研报告

2011-2015年中国商业智能(BI) 市场调研 及发展前景预测报告 随着企业CRM、ERP、SCM等应用系统的引入,企业不停留在事务处理过程而注重有效利用企业的数据为准确和更快的决策提供支持的需求越来越强烈,由此带动的对商业智能的需求将是巨大的。 中国报告网发布的《2011-2015年中国商业智能(BI) 市场调研及发展前景预测报告》共十一章。首先介绍了中国商业智能(BI) 行业市场发展环境、中国商业智能(BI) 整体运行态势等,接着分析了中国商业智能(BI) 行业市场运行的现状,然后介绍了中国商业智能(BI) 市场竞争格局。随后,报告对中国商业智能(BI) 做了重点企业经营状况分析,最后分析了中国商业智能(BI) 行业发展趋势与投资预测。您若想对商业智能(BI) 产业有个系统的了解或者想投资商业智能(BI) 行业,本报告是您不可或缺的重要工具。 本研究报告数据主要采用国家统计数据,海关总署,问卷调查数据,商务部采集数据等数据库。其中宏观经济数据主要来自国家统计局,部分行业统计数据主要来自国家统计局及市场调研数据,企业数据主要来自于国统计局规模企业统计数据库及证券交易所等,价格数据主要来自于各类市场监测数据库。 第一章商业智能(BI)原理及商业价值创造路径分析 第一节商业智能发展阶段 第二节商业智能(BI)内涵、结构及原理 一、商业智能(BI)内涵 二、商业智能(BI)特征功能 三、商业智能(BI)层次结构 四、商业智能(BI)实现原理 第三节商业智能(BI)产业链条解构 一、BI产业链解构模型 二、BI产业链构成现状及特点 三、BI产业链关键环节现状剖析

四、BI产业链发展趋势 第四节商业智能(BI)商业价值创造路径 第二章全球商业智能(BI)产业运行动态分析 第一节全球商业智能(BI)产业运行环境分析 第二节全球商业智能(BI)产业市场透析 一、商业智能引领全球企业信息化 二、商业智能软件厂商 三、制造业是商业智能的重要市场 第三节世界各地区企业对商务智能(BI)应用状况分析 一、欧洲 二、亚太 第四节2011-2015年全球商业智能的五大预测分析 第三章中国商业智能(BI)行业发展背景分析 第一节中国商业智能(BI)行业发展历程 第二节中国商业智能(BI)行业现状特征 第三节中国商业智能(BI)行业发展的全球基调 一、信息技术促使商业模式变革 二、全球经济一体化促进商业理念的传播与变革 三、全球经济一体化促进商务贸易往来 四、全球产业分工与各国产业升级 第四节中国商业智能(BI)行业发展PEST分析 一、改革30年造就数量庞大的企业群体 二、集约化经济转型 三、国内IT技术进步与国外技术引进 四、IT创造价值观念慢慢渗透各行各业 第五节主要发达国家商业智能(BI)发展现状及价值创造启示 一、美国 二、日本

2013年商业智能BI与大数据行业分析报告

2013年商业智能BI与大数据行业分析报告 2013年8月

目录 一、行业:BI是为客户真正创造价值的大数据核心应用 (4) 1、大数据时代来临,迎接她,拥抱她 (4) (1)数据爆发性增长,潜在价值巨大 (4) (2)IT巨头重金投入大数据,抢位关键环节 (6) 2、BI是贴近客户并且为客户创造价值的大数据核心应用 (7) (1)BI处于大数据分析应用层的核心位置 (7) (2)BI体系架构:辅助决策,帮助客户拓展业务 (7) (3)BI贴近客户并为客户创造价值,最具含金量 (8) 3、BI应用快速推广,未来消费智能百倍增长空间 (9) (1)BI成为全球CIO首选技术,我国BI市场提速发展 (9) (2)从商业智能到消费智能,前景广阔 (10) ①BI发展趋势一:从O/B域向M域延伸 (10) ②BI发展趋势二:企业全员BI (11) ③BI发展趋势三:消费智能 (11) 二、标杆分析:东方国信 (12) 1、BI龙头,有能力发展成全产业链解决方案提供商 (12) (1)国内BI格局 (12) (2)公司深耕BI领域,具备成为全产业链解决方案提供商的能力 (14) 2、战术措施:纵向产业链延伸,横向行业拓展 (17) (1)纵向延伸,向上管理咨询,向下业务运营 (17) (2)横向拓展,重点突破金融、制造、能源等领域 (20) 3、业务:电信领域稳健成长,非电信领域倍增空间 (21) (1)电信领域:从O/B域向M域扩展,从联通向移动电信渗透 (21) ①从O/B域向M域扩展将提升BI业务的体量和效果 (21) ②基于联通的成功,大力拓展移动电信业务 (22) (2)非电信领域:并购进入金融和制造业BI领域,能源空间广阔 (23) ①金融行业是BI的下一个主战场 (23)

商业智能(BI)项目可行性研究报告

商业智能(BI)项目 第一章、商业智能(BI)项目总体介绍 第一节、项目名称 商业智能(BI)项目 第二节、商业智能(BI)概念 商业智能又名商务智能,英文为Business Intelligence,简写为BI。 商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。而商业智能能够辅助的业务经营决策,既可以是操作层的,也可以是战术层和战略层的决策。为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术。 可以认为,商业智能是对商业信息的搜集、管理和分析过程,目的是使企业的各级决策者获得知识或洞察力(insight),促使他们做出对企业更有利的决策。商业智能一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成。商业智能的实现涉及到软件、硬件、咨询服务及应用,其基本体系结构包括数据仓库、联机分析处理和数据挖掘三个部分。 因此,把商业智能看成是一种解决方案应该比较恰当。商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理,以保证数据的正确性,然后经过抽取(Extraction)、转换(Transformation)和装载(Load),即ETL过程,合并到一个企业级的数据仓库里,从而得到企业数据的一个全局视图,在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理(这时信息变为辅助决策的知识),最后将知识呈现给管理者,为管理者的决策过程提供支持。

2020年金融科技行业分析报告

2020年金融科技行业 分析报告 2020年9月

目录 一、金融科技概况 (9) 1、金融科技基本内涵及生态体系 (9) 2、中国金融科技行业目前已进入平稳发展期 (10) (1)第一阶段市场启动期(2004-2012年):金融科技公司萌芽,科技开始渗透进金融核心业务 (11) (2)第二阶段高速发展期(2013-2015年上半年):各机构开始大规模互联网化布局 (12) (3)第三阶段市场调整期(2015年下半年-2018年):监管政策密集出台,行业发展趋于缓慢 (13) (4)第四阶段稳步增长期(2019年至今):监管压力减小,行业健康稳步发展 .. 13 3、金融科技投融资情况 (14) (1)金融科技融资规模:2018年达历史高点,全球融资突破千亿美元 (15) (2)金融科技融资阶段:交易份额转向中后期(B轮以后)融资 (16) (3)金融科技融资领域:支付领域仍为热点,保险科技与区块链表现强劲 (17) 二、金融科技四大技术方向解读:ABCD (18) 1、人工智能AI:智能风控、智能支付、智能投研、智能投顾等 (19) 2、区块链BlockChain:解决安全、信任、效率三大痛点 (20) 3、云计算Cloud:在信息获取、资源配置、IT运营三方面发力 (20) 4、大数据Data:应用于银行、保险、证券等细分领域 (21) 三、金融科技六大细分领域剖析 (22) 1、移动支付 (22) (1)行业格局:行业增速放缓,监管收紧;C端呈双寡头格局,B端具发展潜力 23 ①移动支付交易规模扩大,监管政策收紧,行业增速放缓 (23) ②C端呈双寡头格局,B端具发展潜力 (24)

电信运营商基于大数据的商业智能应用思考

电信运营商基于大数据的商业 智能应用的思考
孙少陵 中国移动通信有限公司研究院 2012年11月
1

目录
3 1 2 3
电信运营商商业智能面临的挑战 基于大数据的商业智能系统的初步构想 “大云”在大数据商业智能领域的实践
2

全球数据量高速增长,信息成为运营商战略资产
?信息社会的信息增量在高速发展 ?随着互联网/移动互联网、数码设备、物联网/传感器等技术的发展,全球数据生产在 高速增长 ?Jim Gray的新摩尔定理认为,每18个月全球新增的信息量是计算机有史以来全部信息 量的总和。据IDC研究报告,未来10年全球数据量将以40+%的速度增长,2020年全球数 据量将达到35ZB(35,000,000PB),为2009年(0.8ZB)的44倍 ?信息成为企业战略资产,市场竞争和政策管制要求越来越多的数据被长期保存 ?企业越来越需要长期保存各类数据,以进行用户行为分析、市场研究,信息服务企业 更是需要积累越来越多的信息资源 ?为了遵从萨巴斯、上网日志审计等管制要求,企业需要长期保存越来越多的生产数据
3

基于大数据的商业智能(BI)为运营商带来新的机遇
在网络时代,运营商是数据交换中心,运营商的网络管道、业务平台、 支撑系统中每天都在产生大量有价值的数据,基于这些数据的商业智能 应用为运营商带来巨大的机遇
改善用户体验 优化网络质量 助力市场决策 刺激业务创新
? 分析用户行为,改进产品设计 ? 通过用户偏好分析,及时、准确进行业务推荐和客户关怀
? 分析流量、流向变化,调整资源配置 ? 分析网络日志,进行网络优化和故障定位
? 通过业务、资源、财务等各类数据的综合分析,快速准确确 定公司管理和市场竞争策略
? 在确保用户隐私不被侵犯的前提下,对数据进行深度加工, 对外提供信息服务,提升企业价值
4

几种典型的商业智能(BI)系统架构分析

几种典型的商业智能(BI)系统架构分析 1、简单的BI架构这是目前比较常用的商务智能架构,所有的数据集中管理,集中分析,最大的优点是容易管理和部署,系统结构简单,容易维护,适用于小型商务智能系统。缺点是对于跨地域部署比较困难,数据实时性差,可扩展性差。 2、联合的BI架构(Federated BI Architecture)这种架构比较符合实际的需求,能够集成自定义的数据仓库,外包的数据仓库,架构化的数据仓库,非架构化的数据仓库,分析系统等。应用于多数据仓库的集成和管理。特点是适用于加速time-to-market ,需要高层力量的驱动。成功关键因素:共享一致的的重要的Metrics度量和维度;需要提供统一的标准,拥有企业级的ETL工具和集成的元数据;需要贯穿于整个团队的沟通。联合的BI架构包括:集中逆向商务智能架构,分布逆向商务智能架构,集中顺序商务智能架构,分布顺序商务智能架构及混合架构等。 2、1 集中逆向BI架构(Centralized Upstream BI Architecture)·通常用于中小组织·需要良好的保管者的沟通·需要高级执行者买进·受限于逆向成功惯例(成功的变化是与任何单一实体的进行尝试是成反比的) 2、2 分布式逆向BI架构(Distributed Upstream BI Architecture)·中小组织和大型组织都适用·是大多数从下

至上注重实效表现的逼近系统·更多的考虑多数人意见·更多的限制于大多数人意见·实施团队需要良好的沟通 2、3 集中式的顺序BI架构(Centralized Downstream BI Architecture)·适用于长期数据仓库项目·用于紧密配合多管道的在巨大组织中到处存在的DW/DM系统·经常目标设定为特殊功能组织或行政中心·需要高层在所有的拥有者进行决策·需要为已有系统在实施团队和支持团队建进行良好的沟通 2、4 分布式顺序BI架构(Distributed Downstream BI Architecture)·适用于大型多元化组织·容易适应各种不同的冲突·容易转换到不同的环境·需要为已有系统在实施团队和支持团队间进行良好的沟通 2、5 混合型BI架构(Hybrid BI Architecture)·比任何理想化模型更接近现实情况·更适应自然的联盟·元数据集成更具有挑战性

商业智能(BI)定义和解决方案

商业智能定义和解决方案 什么是商业智能? 商业智能,或 ,是一种统称,泛指用于对一个企业的原始数据进行分析的各种各样的软件系统。商业智能( )是由若干相关的活动组成的领域,包括 数据挖掘,在线分析处理,查询和报表。 企业用商业智能( )来提高决策制定,降低成本和识别新的商机。商业智能( )不仅仅只是公司的报表或从企业系统中引导出信息的一套工具。信息主管通过商业智能( )来发现企业内低效的,需要改进的商业流程。 利用现在的商业智能( )工具,商业人士可以随时自己开始对数据进行分析,而不要等待 来运行一个复杂的报表。这样民主化的信息访问让用户在做商业决策时有了硬性数据的支持,否则就只能基于直觉来做出决策。 虽然商业智能( )有光明的前景,但它的安装启用却受到技术和企业文化挑战的困扰。高管们必须确认在商业智能( )系统中所用的数据是干净与一致的,所以用户才会信任它。 什么样的企业会使用 系统? 象 , , 和 这样的连锁餐馆业大量地使用着商业智能( )软件。他们用商业智能( )做出战略决策,诸如在菜单上添加什么新品,哪一种菜式要被删 除和哪一个业绩欠佳的店要被关闭。他们还用商业智能( )来决定战术的事项,象与食品供应商重新谈判合同和找到改进低效率流程的

机会。因为连锁餐馆深受 日常商务运作的驱动,而商业智能( )对他们经营上的帮助是如此的重要,所以他们成为所有行业中使用 的中坚力量,而真正地从这些 系统中得到实际 价值。 的关键组件之一 业务分析 是在各种行业中成为一个成功企业所必不可少的,在专业的体育团队像波士顿的 ,奥克兰的 和新英格兰的 中,业务分析就更加的必不可少。 利用一种分析的方法, 在四年中赢得了三次美国橄榄球超级杯大赛。这个球队在很多方面都用到了 数据和分析模型,无论是在场内还是场外。深入的分析帮助这个球队在全美橄榄球联盟( )的薪资上限之下选择球员。 的教练与球员对比赛 录相和统计资料的研究是出了名的,教练 阅读由经济学者写的关于足球赛结果的统计概率的学术文章。在场外,这只球队利用详细的分析评价和改进 全体球迷体验 。在每一场主场比 赛,举例来说,会特别安排 至 人进行定量测定体育场的食物、停车、人员、浴室整洁和其他因素。 在零售业,沃尔玛( )利用大量的数据和分类分析来帮助它占领市场。 在赌博业 的竞争中改变了它的基调,从建立大型赌场转向分析周边客户的忠诚度和服务上。亚马逊( )和雅虎( )不仅仅是电子商务网站,他们忙于 分析和遵循一种 测试和学习 的方法转变商业。 一年要做 多次的实验来鉴定理想的客户和为信用卡定价。 谁应该起到领导的作用?

IBM公司数据仓库商业智能解决方案(DOC 45页)

IBM公司数据仓库商业智能解决方案(DOC 45页)

1. 技术瓶颈:海量数据收集、海量数据存储、海量数据多维分析等一系列的问题,即使最热门最被业内人士看好的Hadoop技术能否撑得住? 2. 资源投入:海量数据处理伴随着相应的硬件、软件需求的增长,技术人员的投入上对企业势必成为新的负担。 3. 价值金矿:海量数据中的非结构化数据蕴含着的“价值金矿”,能够帮助企业从未所触及的角度和维度为企业提供商业决策和辅助。 从海量数据价值挖掘层面上看,传统的思维是数据量加大是一定要考虑OLAP的,一般的报表可能5、6个小时出来结果,而基于Cube的查询可能只需要几分钟,因此从一般意义上认为处理海量数据的利器是OLAP多维分析,即建立数据仓库,建立多维数据集,基于多维数据集进行报表展现和数据挖掘等。 然而目前OLAP存在的最大问题是: 业务灵活多变,必然导致业务模型随之经常发生变化,而业务维度和度量一旦发生变化,技术人员需要把整个Cube重新定义并重新生存,业务人员只能在此Cube上进行多维分析,这样就限制了业务人员快速改变问题分析的角度,从而使所谓的BI系统称为死板的日常报表系统. 在思达商业智能平台 Style Intelligence上进行海量数据的多维数据分析,从业务需求的角度出发,维度和度量才是直接针对业务人员的分析语言。在自主知识产权数据块儿技术支持下,直接把维度和度量的生成交给业务人员,由业务人员自己定义好维度和度量之后,将业务的维度和度量直接运行,并最终生成报表。 此种以终为始的设计思路,首先能解决传统OLAP分析中维度难以改变的问题,利用思达商业智能平台 Style Intelligence中数据非结构化的特征,业务人员可以灵活地改变问题分析的角度,对业务人员非常友善。其次思达商业智能平台Style Intelligence 在海量数据处理中利用分布式数据处理架构强大的分布式数据处理能力,无论OLAP分析中的维度增加多少,系统开销并不显著增长。

(完整word版)几种典型的商业智能(BI)系统架构分析

几种典型的商业智能(BI)系统架构分析 目前,随着商务智能理论的不断发展,商务智能的系统架构已经从单一的理论衍生出多种架构,如分布式商务智能架构,联合商务智能架构等。下图是前BO公司定义的商务智能的基本架构,它是一种开放式的系统架构,可以分布式集成现有的系统。从这个架构中,我们可以比较清楚的看出目前商务智能架构的模式。包括数据层、业务层和应用层三部分。数据层基本上就是ETL过程。业务层主要是OLAP和Data Mining的过程。在应用层里主要包括数据的展示,结果分析和性能分析等过程。在实际应用中,由于每个公司的规模和组织架构的不同,在实施商务智能选择系统架构的时候要结合公司的特点,选者最合适的架构。下面就介绍几种现实系统中的几种BI架构。 BO公司定义的BI架构 1、简单的BI架构 这是目前比较常用的商务智能架构,所有的数据集中管理,集中分析,最大的优点是容易管理和部署,系统结构简单,容易维护,适用于小型商务智能系统。缺点是对于跨地域部署比较困难,数据实时性差,可扩展性差。

2、联合的BI架构(Federated BI Architecture) 这种架构比较符合实际的需求,能够集成自定义的数据仓库,外包的数据仓库,架构化的数据仓库,非架构化的数据仓库,分析系统等。应用于多数据仓库的集成和管理。特点是适用于加速time-to-market ,需要高层力量的驱动。成功关键因素:共享一致的的重要的Metrics度量和维度;需要提供统一的标准,拥有企业级的ETL工具和集成的元数据;需要贯穿于整个团队的沟通。联合的BI架构包括:集中逆向商务智能架构,分布逆向商务智能架构,集中顺序商务智能架构,分布顺序商务智能架构及混合架构等。 2.1 集中逆向BI架构(Centralized Upstream BI Architecture) ·通常用于中小组织 ·需要良好的保管者的沟通 ·需要高级执行者买进 ·受限于逆向成功惯例(成功的变化是与任何单一实体的进行尝试是成反比的)

重庆人工智能项目投资分析报告

重庆人工智能项目投资分析报告 投资分析/实施方案

摘要 人工智能在投资研究上的应用。通过人工智能技术拓宽投资信息来源,提高获取信息的及时性,减少基础数据处理的工作量,通过自动化的数据 分析,为投资决策提供参考,从而提高投资研究的效率。人工智能在资本 市场相关领域的应用。从使用者的角度来看,智能投研的受众包括各种类 型的投资者(买方)、券商(卖方)、监管机构、银行和财经媒体等。从 投资的标的来看覆盖一级市场公司、股票、债券、外汇等。而人工智能的 应用场景涉及业务的各种环节,与投研直接相关的就包括研究、投资、交 易和风险管理。 该人工智能设备项目计划总投资20665.28万元,其中:固定资产投资14660.51万元,占项目总投资的70.94%;流动资金6004.77万元,占项目 总投资的29.06%。 达产年营业收入40197.00万元,总成本费用31296.20万元,税金及 附加370.80万元,利润总额8900.80万元,利税总额10499.30万元,税 后净利润6675.60万元,达产年纳税总额3823.70万元;达产年投资利润 率43.07%,投资利税率50.81%,投资回报率32.30%,全部投资回收期 4.60年,提供就业职位739个。 报告根据项目产品市场分析并结合项目承办单位资金、技术和经济实 力确定项目的生产纲领和建设规模;分析选择项目的技术工艺并配置生产 设备,同时,分析原辅材料消耗及供应情况是否合理。

随着人工智能的迅速发展,将提升社会劳动生产率,特别是在有效降 低劳动成本、优化产品和服务、创造新市场和就业等方面为人类的生产和 生活带来革命性的转变。基于人工智能产业的战略作用,中国政府正通过 多种形式支持人工智能的发展,形成了科学技术部、国家发改委、中央网 信办、工信部、中国工程院等多个部门参与的人工智能联合推进机制。 2017年,人工智能首次写入政府工作报告,同年7月,国务院印发《新一 代人工智能发展规划》,明确人工智能的发展在国家战略中的地位。 报告主要内容:项目概述、背景及必要性、市场前景分析、投资建设 方案、项目选址规划、项目工程设计、工艺技术分析、项目环境影响分析、项目安全管理、项目风险、项目节能方案分析、实施进度计划、项目投资 情况、项目经济评价分析、综合结论等。

商业智能+大数据分析报告

2016年出版

正文目录 1、BI行业增长强劲,下游需求突出,竞争壁垒有抬升趋势 (4) 1.1、商业智能(BI)认可度持续提高,市场规模不断扩大 (4) 1.2、BI 产业链结构分析 (6) 1.2.1、BI 上游 (6) 1.2.2、BI 下游 (6) (1)、电信行业:大数据潜在金矿、亟待规模开发 (8) (2)、金融行业:效率与安全双轮驱动大数据应用深化 (8) (3)、电子政务:政务信息化政策利好大数据整体解决方案商用 (9) (4)、电力行业:生产信息决策与节能减排双重利好于大数据 (10) 1.3、BI 与大数据的联系与区别 (10) 2、大数据:逐步走向成熟,市场进入爆发成长期 (11) 2、从BI 到大数据4.0的演变历程 (12) 2.1、大数据核心技术不断演进,年增50% (12) 2.1.1、大数据的史前时代 (16) 2.1.2、大数据1.0 效率为先(2012-2015):非结构化数据处理加速 (17) 2.1.3、大数据2.0 变现为王(2015-2020):用户画像与标签 (18) 2.1.4、大数据3.0 与4.0 决策为本(2020-2030):机器学习与洞察 (19) 2.2、大数据产业步入快速增长、国内相关企业产业布局呈哑铃型 (20) 2.2.1、从概念热炒到实际应用,大数据步入快速成长期 (20) 2.2.2、大数据产业链分工明晰,发展侧重数据采集及应用、呈现哑铃型 (21) 2.3、大数据助力产业升级创新 (22) 3、大数据主要应用分析 (23) 3.1、电信行业大数据应用 (23) 3.1.1、电信大数据爆发式增长,但运营商进入存量经营时代 (23) 3.1.2、电信运营商大数据变现具备基础 (24) 3.1.3、利用大数据,聚焦服务、创新、运行支撑 (25) 3.1.4、海外成功先例,值得借鉴 (26) (1)、全球电信运营商大数据实践 (26) (2)、法国电信:利用大数据开拓新服务领域 (28) (3)、西班牙电信大数据应用 (29) 3.2、金融行业大数据应用 (29) 3.2.1、强调大数据环境下的客户、市场、运营洞察 (29) 3.2.2、工商银行:利用大数据洞察客户心声 (31) 3.3、互联网大数据应用分析 (32) 3.3.1、大数据先行者,促进营销、信息与业务多重变革 (32) 3.3.2、BAT:领军大数据变革时代 (33) 3.3.3、亚马逊:用户行为数据分析助推个性化营销 (36) 3.4、工业大数据应用 (37) 3.4.1、借力大数据,实现设备、系统、决策智能化 (37) 3.4.2、工业大数据:中国制造2025 核心技术 (37) 3.4.3、汽车行业:“变形金刚”改变行业战斗方式 (38) 3.5、航空业大数据应用分析 (39)

_商业智能:数据分析基础

第1章 商业智能:数据分析基础 本章目标: ●理解商业智能系统的用途和结构 ●理解多维数据分析的概念 ●学习如何使用数据仓库实现维度数据模型 ●学习如何使用分析服务实现维度数据模型 1.1 商业智能简介 商业智能(Business Intelligence,BI)是从一个公司的运行系统或外部资源所包含的数据中获得的信息。商业智能有助于我们更好更快地做出决策。假设你现在是一家新创公司的总经理,公司名为Adventure Works Cycles(下文简称AWC公司),面向北美、欧洲以及亚洲制造和销售自行车、自行车部件、运动服饰和相关配件。AWC公司需要发展,可目前有限的资源无法支撑其壮大。但是为了公司的发展你必须做出决策,而为了做出合理的决策,你需要一些特殊的信息。你可能会阅读《华尔街日报》来把握最新的商业趋势,或者在收藏夹中保存https://www.doczj.com/doc/268700454.html,网站的书签。所有这些信息以及你积累的经验会让你做出一个主观的、凭直觉的(gut-feeling)决策。但事实上,你可能希望自己的决定是客观的、有数据支撑的。需要的数据包括公司的订单处理、会计报表、人力资源以及其他的商业系统。同时还需要一个由第三方提供的市场预测数据和汇率信息。这时,需要一个能将所有这些信息汇总起来供今后使用的工具,这个工具就是商业智能系统。商业智能系统是一种解决方案,它能从多个数据源收集数据,将各种数据进行转化使之一致并能存储在同一个位置,为你进行分析和制定决策提供数据支持。 商业智能系统至多由以下五层组成: (1) 数据源层 (2) 数据转换层 (3) 数据存取层 (4) 分析层 (5) 表示层 数据源层包含的数据有:①维护公司日常运作的系统中的数据,包括文本文件、Excel电子表格文件或Access数据库文件中的数据;②从外部源中获取的数据。由于这些数据从不同的数据源中获得,因此很难直接利用它们创建报表和进行分析。数据转换层用于从不同数

2017年智能投研行业Kensho分析报告

2017年智能投研行业Kensho分析报告 2017年6月

目录 一、人工智能+投资悄然来临,知识图谱促智能投研腾飞 (5) 1、人工智能+投资悄然来临 (5) 2、智能投顾蓬勃发展,智能投研初露雏形 (7) (1)智能投顾:未来五年国内规模有望每年翻倍,人机结合是趋势 (7) (2)智能投研:国内基金纷纷试水,人工智能大幅提高传统投研效率 (11) (3)智能投研与投顾两者有望优势互补 (15) 3、知识图谱促智能投研腾飞 (15) 二、KENSHO:智能投研领域的“AlphaGo” (19) 1、联合创始人:因禅结缘,创立Kensho (20) 2、融资情况:累计融资超1亿美元,估值达5亿美元 (21) 3、产品:Warren 试图解决投资分析的“速度、规模、自动化”三大挑战” (23) 4、客户:金融机构和商业媒体双管齐下 (24) 三、核心产品Warren:低门槛获高专业服务 (25) 1、功能:寻找事件与资产的相互关系 (26) 2、特点:快速计算能力、良好人机交互、强大深度学习能力 (27) 3、影响:削弱不对称性,现代金融投机行为性质有望再次改变 (28) 4、缺陷:无法自我形成新因果关系,无法区分因果性/相关性 (29) 5、未来:自动触发事件对资产价格的影响是Warren终极目标 (30) 四、Kensho动了谁的奶酪 (31) 1、彭博、汤森路透领衔国外金融数据提供商,国内万得一家独大 (31) 2、短期Kensho颠覆传统厂商的可能性不大 (32) 3、畅想金融数据服务市场 (34) (1)2B向2C/2B2C拓展 (34) (2)封闭走向共享 (34) (3)竞争走向合作 (35) 五、重点企业简况 (35)

智能家居行业分析研究报告

智能家居行业分析研究报告 一、智能家电领域发展分析 目前,智能家电市场处于发展初期,面临标准、成本、产业生态系统建设、商业模式等诸多问题,还需要经历一个较长的市场培育期,规模商用尚需时日。不过,由于人们提高用能效率的意识不断高涨,加上多项政府计划的激励,在接下来的几年里,智能家电的部署进程将有望加速。预计智能家电所带来的商业影响将是全球范围的。 作为电力网的终端用电设备,家用电器的能耗不容小觑,即使是待机功耗也是一项不小的开销。据中国节能认证中心调查,中国城市家庭的平均待机功耗相当于每个家庭每天都亮着一盏25瓦到50瓦的长明灯。据测算,家电待机能耗已占到中国家庭电力消耗的20%以上。美国能源部的报告也显示,超过三分之一的美国发电量被用于家用电器。 智能控制技术、信息技术的快速发展为家电智能化提供了可能,智能家电由于能够实现更高效能而被认为是促进节能降耗的有效途径。这一方面缘于人们生活水平的提高,倾向使用性能更好的家电产品;另一方面,在全球变暖和能源成本不断上升的压力下,市场更加青睐高能效的智能家电。 人们对节能降耗、人机界面和通信功能等方面的需求将是拉动智能家电市场增长的主要力量。现在世界很多国家,包括中国在内都在鼓励家电厂商研制这类智能家电。

二、智能家居领域发展分析 当年比尔盖茨为了实现他的智能豪宅,铺设了84公里电缆、耗资5.3 亿美元。如今智能家居不再是镜花水月,而是未来家庭生活的发展模式,一个无线遥控器就把大小设备浓缩于手指挥若定,通过网络等信息通讯技术手段,使家居控制能按照人们设想运作,而不论距离远近,智能家居的远程控制和自动控制是真正智能化的必然结果。如朝华数码有关人士提出的:领先的无线移动、不依靠PC的独立形态是今后业界发展的趋势。 智能家居控制系统可以简单概括为一个各种家庭设备互连和控制的网络。现代家居系统的服务应用平台从服务特征上来看,一般包括了娱乐、医疗、安防、通信、事务管理等,控制功能几乎渗透到每一个家居子系统。智能家居控制是通讯技术、计算机技术、网络技术、控制技术的综合运用。 国家建设部住宅产业化促进中心提出住宅小区要实现六项智能化要求,其中包括实行安全防范自动化监控管理:对住宅的火灾、有害气体的泄漏实行自动报警;防盗报警系统应安装红外或微波等各种类型报警探测器;系统应能与计算机安全综合管理系统联网;计算机系统能对防盗报警系统进行集中管理和控制。由此可见,家居控制已成为智能家居领域新的业务增长点。

人工智能+金融行业研究报告:智能投研风控监管投顾营销支付客服理赔

人工智能+金融行业研究报告

导语 金融行业的发展一直以来和科技相辅相成,科技的进步促进金融业的发展,金融对科技的需求和应用又反过来助推科技进步,因此金融行业的演变与年代相结合,和当时的科学技术发展息息相关。在万物互联的时代,人工智能+金融能够基于大量多维度的用户数据与不断自我学习优化的算法,让用户享受到智能化、实时化、定制化的垂直金融服务。习总书记在2018 年10 月主持学习人工智能发展现状和趋势时强调,人工智能是新一轮科技革命和产业变革的重要驱动力量,要努力推动我国新一代人工智能健康发展。十九大报告当中,提出了要将包括人工智能在内的现代科学技术与传统的行业相结合。在2018 年和2019 年的政府工作报告当中,也再次强调了人工智能等新兴科技对于推动传统行业的重要意义。 人工智能+金融主要是将计算机科学当中的人工智能技术作为主要的推动力,利用这项推动力为金融机构以及业务环节赋能,创新金融产品,重塑金融业务中的流程,对金融服务进行优化。“人工智能+”是将人工智能作为一项基础的计算机技术,将该项技术与传统的金融行业中各个业务场景进行相互的深度融合。相对于简单的行业叠加,“人工智能+”更侧重于为传统行业的解决问题方式和流程再造过程提供新的思路和方法,加快新经济形态的演进进程,催生新的商业模式,提高运营效率,带来整个产业的全面升级。

谷歌、微软、英特尔、FACEBOOK、IBM 等企业在人工智能行业发展早期就已经对于产业链进行了深度的布局。这些科技巨头的关注点主要在于人工智能的基础层,对核心算法的研究投入了大量的资源,并全面推进人工智能的商业化,体现了技术在应用层面的价值。国内,人工智能+金融的发展具有特殊的优势,这是因为中国有庞大的网民数量和较高的互联网普及率,对于积累金融数据等财务数据有较好的前期基础。目前,人工智能在金融领域的投资和服务方面应用较多。 目前,人工智能已经能够贯穿于金融活动的整个业务过程当中,包括海量的数据分析、对于金融政策的解读、自动生成报告、意外金融事件的预测以及与金融相关的信息搜索。 金融行业能够在人工智能出现的时候有良好的适用性,是因为金融与数据紧密相关,金融行业在过去积累下来的大量数据就能够应用于机器学习,广泛应用在股票市场预测、风险评估和预警等方面。自动报告生成涉及到自然语言处理,因为一般的金融行业涉及到的报告具有固定的格式,因此可以利用自然语言处理的技术将报告需要的信息进行抓取,生成有固定格式的报告。知识图谱利用可视化的图形方式来显示各个事物实体发展的进程和实体之间的关系。语义搜索让搜索引擎的工作不再局限于用户当前具体输入的内容,而是计算机能够根据该内容进行合理地联系与扩散,来进一步准确地捕捉到用户实际期望搜索的内容,更准确地反馈给用户期望的搜索结果。 人工智能技术并不是孤立存在的,它和目前各大高校、科研院所、企业研究机构正在进行研究的其他前沿科技息息相关,其中就包括了

2010年商业智能研究分析报告

2010年商业智能研究分析报告 作者周倚平 商业智能通常被理解为将企业中现有的数据(业务,财务,研发等)转化为知识,帮助企业做出明智的业务经营决策的系统架构。为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘(DM)等技术。因此,从技术层面上讲,商业智能不是什么新技术,它只是数据仓库、OLAP和数据挖掘等技术的综合运用。 商业智能的形成过程: 采集(业务系统ERP)→组织存储(数据仓库)→分析预测(数据挖掘)→实时报表(OLAP) 相对来说做商务智能和ERP最大的区别在于ERP是流程驱动,商务智能是目标驱动。看企业究竟想做什么。 主流产品: Cognos(IBM),SPSS(IBM),Hyperion(Oracle),BO(SAP,Crystal),Excel+SQL Server (Microsoft),Informatica,SAS 主要厂商 ETL:Informatica, SQL Server Analysis Server DW:IBM DB2,Oracle,Sybase IQ,NCR Teradata OLAP:Cognos,Business Objects,MicroStrategy,Hyperion,IBM Data Mining:IBM,SAS,SPSS

1. 关键技术 1.1. ETL 过程 不同数据源(Oracle ,DB2,SQLServer ) 不同的数据(关系型数据,文档,图片,音视频) 商业智能的核心内容是从许多来自企业不同的业务处理系统的数据(分布的,异构的源数据)中,提取出有用的数据,进行清理以保证数据的正确性,然后经过抽取(Extraction )、转换(Transformation )和装载(Load ),即ETL 过程(本质上是样本提取的过程),整合到一个企业级的数据仓库里,从而得到企业信息的一个全局视图,在此基础上利用合适的查询和分析工具、数据挖掘工具等对数据仓库里的数据进行分析和处理,形成信息,甚至进一步把信息提炼出辅助决策的知识,最后把知识呈现给管理者,为管理者的决策过程提供支持。 ETL 特征: l 以串行/并行方式,从不同异构数据源流向统一的目标数据,核心在于转换过程(关联,聚集),而抽取和装载一般可以作为转换的输入和输出。 l ETL 元数据主要包括每次转换前后的数据结构和转换的规则。 l 数据同步,数据ETL 是经常性的活动,按照固定周期运行,甚至实时运行。 l 庞大的数据量,需要ETL 工具有良好的伸缩性。 l 流程控制和数据验证机制。 下图是数据仓库/商业智能的完整的体系结构图,根据数据的不同形态,整个体系被划分为四个大的层面,并根据数据的处理和应用过程再细分成七个环节。从数据源经过抽取(Extra ,E)、转换(Transform ,T )、装载(Load ,L )过程加载到中央数据仓库, 再从数据仓库经过分类加工放到数据集市(DM, Data Market),或者将数据集市中的数据进一步存放到多维数据库(MDD, Multi-dimension Database),这都属于数据组织的问题,从中间层到终端用户或从多维数据库到终端用户可将其划归为前端应用实现的问题。而贯穿整个体系数据处理环节的,是系统的流程调度控制和元数据管理。 数据仓库 ETL

相关主题
文本预览
相关文档 最新文档