商业分析解决方案
1.项目背景
在全球经济一体化浪潮的推动下，中国企业快速发展，企业的规模不断壮大、涉及的业务领域不断扩X、经营的地域不断拓展，管理难度越来越大；同时也面临着世界竞争的大环境，竞争越来越激烈。随着计算机及其网络通讯技术的发展，特别是互联网技术的发展，改变了人们以往的做事方法和经营管理模式。企业要想在竞争中取胜，就必须充分利用信息化来优化企业资源、改变经营管理模式，通过信息化确保企业按设定的流程运作、实时掌握企业目前的运作状况、及时发现问题并找出原因、迅速科学地响应市场及合作伙伴，最终支持企业的科学决策和企业的发展。
在企业的信息化过程中，在业务系统中积累了大量的市场数据、客户数据、交易历史数据，也形成了一套分析方法和报表规则，但目前的信息化还存在一些问题，难以满足企业领导掌握跨业务、跨部门运营情况的需求，难以支撑企业领导的整体决策需求，难以满足业务管理人员的数据跨帐套、跨年度的查询工作，业务管理人员工作量大、工作效率低。这些信息化问题主要表现在：
?数据不集中：企业的信息化建设过程中，有些建立了多个业务系统，有些虽然系统统一，但业务数据分散在不同业务模块中，数据不集中，数据之间相互独立、缺乏
整合，数据查询难度大、速度慢；各业务模块数据不能自动、及时汇总，需要进行
手工调整，工作量大，且数据缺乏关联和共享，分布在大量无关联的表格中，数据
缺乏一致性和准确性；
?以报表展现，缺乏综合分析：主要通过定制报表进行业务分析，数据很多，但报表之间缺乏关联和对照关系，缺乏综合分析深入，用户不能及时准确的获取数据的
含义和趋势；
?展现结果不直观：报表不能直观的展现分析结果，不能通过模型进行业务预警和预测，支撑企业多种业务运用。
因此，企业需要一个系统解决数据不集中的问题，建立数据集中平台，及时整合来自各业务系统数据，建立企业统一准确的数据仓库，通过含有业务逻辑的分析模型和对数据的有
机组织和关联分析，将数据转化成为企业的知识，并以表格、图形、仪表盘等直观方式，将数据和分析结果通过网页、移动终端呈现，最终准确地整合企业有效信息、支撑企业的整体决策。
商业智能系统（BI）通过搭建基于企业不同应用系统之上的数据集成平台，实现企业数据的整合统一，建立覆盖全集团的数据查询体系、建立集团各类业务的关键指标体系及风险预警控制体系。解决了目前信息化存在的问题。
但传统的商业智能 (BI) 产品虽然功能全面，但都是以数据为中心，针对非实时的历史数据进行分析，无法满足业务人员对分析数据的实时性要求。同时传统BI独立的系统特性，只能作为外围BI系统进行项目实施，无法与NC业务系统紧密集成。加上昂贵的价格、复杂的实施流程也直接导致客户投资回报率低下。
随着互联网、物联网的高速发展，未来将是一个大数据的时代，企业要面临大数据分析、实时分析、移动分析、交易系统和分析系统融合等更深入的需求。BI系统的发展将逐步由传统的事后分析，向实时分析、向交易系统与分析系统融合等方向发展。将基于大内存、多内核、开放架构的硬件设备，把大数据、实时分析、移动应用等技术融入到分析系统中去。
结合用友十年来在商业智能领域的研究以及对企业客户商业智能应用，我们清晰的看到企业应用从商业智能（BI）到商业分析（BA）的应用变化，而这种变迁又正是伴随着企业管理的需求的发展、技术创新的进步。
【BI到BA演进的四种模式】
?传统模式：
传统的BI应用模式，从底层交易系统获得数据，通过ETL建立企业的数据仓库，在此基础上加载相应的分析应用，最后以报表的形式呈现给用户。这种BI模式是我们最常见的也是目前客户采用最多的。这种方式最大的意义在于区分了交易系统的职责，实现从OLTP 向OLAP的转变。然而在此种模式下，对于个别大型企业客户对于大数据量的分析效率要求显得心有余悸。
?实时反馈模式：
在解决交易数据的分析之后，我们看到，部分客户对传统的BI模式又提出新的要求，如库存分析，需要库存的数据要与当前业务系统的数据保持实时同步。而传统的ETL、建立数据仓库均有一个数据抽取、存储的过程，我们把它称之为“T+1”。
?嵌入式模式：
随着企业的发展，企业管理思想与模式也在发生巨大的变化，对信息系统的要求也越来越高。从最初始的OLTP系统与OLAP系统的泾渭分明到现今客户需要在传统的业务系统中直接实现分析报表的应用。
?闭环模式：
管理者对管理创新的不断追求，努力探寻在事件洞察和信息管理方面的全新能力。在实现数据的“T+0”，实现分析应用与业务系统的嵌入之后，对此又进一步将分析应用的结果回写到交易系统中，实现交易系统与分析应用的实时交互。
总之，商业分析（BA）对中国企业的价值越发凸显，为适应这种复杂、快速的变化趋势。用友在2012年推出融合了业界领先的ADE（分析数据引擎）、RDI（实时数据集成）、AIE（分析指标引擎）等创新技术的扛鼎之作——用友NC BAP平台。
2.商业分析平台（BAP）目标分析
用友NC60BAP商业分析平台，通过与NC业务系统无缝集成，通过对业务数据的实时分析与加工，满足普通业务人员操作业务流程的分析要求，同时为决策层提供数据支持。
企业在NC BAP平台上，可以通过多种方式展开部署，实现实时商务分析，让用户瞬间拥有强大的商业分析能力。帮助企业组织中的每一个人洞察现状并预测未来，进而做出决策并付诸行动，最终帮助企业提高运营效率和盈利能力，建立并维持企业的竞争优势。
商业分析系统能够帮助企业实现以下目标：
战略管控：为企业领导提供核心业务的指标分析，帮助领导全面掌握企业主业经营、管理状况等，支撑管理层决策，视角更全面、决策结果更准确。
业务分析：建立面向不同业务应用的分析主题，对企业的业务运营情况进行分析和监控，支持对下属企业的运营管控和管理决策。
风险预警：对企业业务运营过程和绩效管理的风险指标进行预警，以便于企业领导及时掌控指标异动情况，及时做出战略、应对策略和布署。
数据整合：有效实现企业各业务及下属分子公司的数据整合统一，建立统一的数据平台，实现数据统一和共享，构建企业数据全集，提升数据处理的及时性和准确性。
总之，用友BAP通过与NC的无缝集成，搭建基于NC系统及其他应用系统之上的数据集成平台，以此为基础，搭建战略管控分析模型、业务分析模型及分析报表，一方面降低工作量，一方面为管理者提供科学、准确的辅助决策信息，提升经营决策效率，规避经营决策风险。
3.商业分析平台（BAP）的需求分析和建议
3.1. 商业分析平台的需求分析
根据目前企业集团的信息系统分散、数据不能及时汇总、准确度低、分析展现不直观、不能进行综合分析等问题，企业对商业分析的需求，主要是希望建立一个功能丰富且操作简便的数据统计、数据分析系统平台，来整合企业准确有效信息，支撑企业的整体决策。
3.2. 商业分析平台的总体思路
在企业商业分析平台（BAP）系统的建设过程中，涉及到多种数据来源、大数据处理、实时数据分析、复杂的业务需求等诸多挑战，同时企业业务快速发展，因此系统必须进行细致的规划，保证系统能满足目前及未来几年的业务需要。
根据用友对商业分析的洞察，未来商业分析系统的趋势将是
?大数据与超高性能并存；
?实时洞察力成为ERP的新能量；
?嵌入式分析分散在每个IT应用中；
?交易系统与分析系统融合；
?分析系统成为随时随地随设备。
因此，用友商业分析平台（BAP）的设计是为了帮助客户应对这种变化趋势，用友基于业界领先的ADE（分析数据引擎）、RDI（实时数据集成）、AIE（分析指标引擎）技术，帮助企业可以通过任何方式立即展开部署，实现实时商务分析，让用户手中瞬间拥有的强大商业分析能力。帮助企业组织中的每一个人获得信息并理解含义，进而自信地做出决策并付诸行动，最终帮助企业提高运营效率和盈利能力。
同时，用友BAP平台的建设和设计按照以下原则进行：
?综合规划、合理布局
BAP平台是企业整体信息化战略的一部分，应该综合考虑集团各管理部门以及下属企业的分析需求，合理划分综合决策支持系统结构和功能，避免系统内功能重叠、信息重复采集、数据不一致、数据冗余、数据共享差和数据指标定义不统一等问题的发生。
?前瞻性
BAP平台建设X围主要来源于集团及下属企业的NC系统，BAP平台将逐渐发展成为面向集团、板块的全面数据分析系统，因此系统设计要体现前瞻性，使系统具有很长的生命周期。前瞻性主要包括体系结构的前瞻性、技术路线前瞻性、产品选择前瞻性和应用设计的前瞻性。尤其是在业务方面，要充分考虑如何满足未来运营的要求，把先进的管理理念与分析评价体系应用到系统中去。
?实用性
在考虑前瞻性的同时，还必须兼顾实用性。充分发挥我们的后发优势，在尽可能借鉴国际先进技术及管理成果的基础上，在系统的设计和实施方面要结合企业的现状，做出准确的
判断，保障系统的实用性或可操作性。实用性主要从以下方面考虑：界面的友好程度、应用实现的难易程度、产品的稳定性和效率等。
?可靠性
根据BA决策支持系统的特点，制定完善的可靠性保障方案，确保系统的正常使用。同时系统的运行效能必须满足企业复杂的应用需求和大规模的用户访问量，保障系统的高可靠性。
?开放性
BAP平台的开放性：整体结构具有很好的模块化设计，模块之间有明确的接口，平台之间有明确的规X。并且能根据通过QDI模块，可以实现外部数据的整合功能。
?可伸缩性
数据量增长时具有良好的伸缩性，用户增长时具有良好的伸缩性，应用系统增加时的伸缩性。
?科学易用性
必须保证数据的准确性，在数据加工方面要精确合理；数据的表现形式要直观快捷，分析及结果展示要有较强的科学依据；数据要准确，分析要科学，信息及结果要易懂、易理解，展示要直观。
用友BAP平台通过与NC业务系统无缝集成，满足NC客户的BI应用要求，同时提供标准的BI数据输出，方便与其他BI系统集成，通过对业务数据进行实时性的分析与加工，为决策层提供数据支持和决策依据，为业务管理人员提供业务管理依据，为普通业务人员操作业务的报表分析和即时查询。
BAP平台的总体层次结构如下图所示：
【产品总体层次结构图】
4.商业分析平台（BAP）解决方案
4.1. 商业分析平台框架
用友商业分析平台采用B/S结构，通过单个平台提供多种工具，为报表查询和分析、绩效指标分析呈现以及数据集成提供了完善、可靠的平台。提供了数据整合，元数据管理，以及数据生命周期管理等功能。
用友商业分析平台的总体框架如下图所示：
【用友BAP平台框架图】
语义层：按照业务分析要求，将NC系统的业务财务数据进行重新组织归纳，输出标准的多维数据结构，并把技术的数据组织转成面向业务的数据，以供业务人员查询分析使用。
分析层：建立管理驾驶舱以及全面的业务分析模型，包括挖掘数据价值，提供决策数据信息，提供分析计算服务。
展现层：通过透视图、透视表等方式，提供多种数据展现方式和操作功能，呈现财务分析结果。
4.2. 商业分析平台技术方案
4.2.1.整体技术特点
1、内嵌高效数据仓库引擎
内嵌的数据库引擎架构不同于大多数数据库引擎，专门针对大并发即席查询的优化设计。基于列存储的技术实现有效减少IO，提升查询性能。决策处理中的很多查询只需要少量列数据，按列存储数据时由于相邻的字段值具有相同的数据类型，数据引擎更容易对数据进行压缩处理。结构扩展时（增加列）不会引起数据库结构的改变。
2、支持实时数据整合
提供异构环境间事务数据的实时、低影响的捕获、路由、转换和交付，在异构源和目标系统之间、以最低IT基础设施开销实时数据传递。以小步快跑的方式，在oracle、AE数据库上进行实时数据整合。为时效要求高的分析需求提供数据支撑。
3、内嵌独立OLAP分析引擎，纯java 的数据展示平台
BAP是一个基于Java标准的、以B/S方式运行的、可跨硬件平台的、可跨操作系统的OLAP分析平台。内嵌完整的OLAP引擎、报表引擎，不依赖第三方产品。
内嵌完整OLAP引擎，支持MDX语言实现查询，从关系数据库(RDBMS)中读取数据。不依赖它第三方产品（如Microsoft SQL Server Analysis Services （SSAS））。
内嵌完整报表引擎，表格与图形实现均不依赖第三方产品（如Microsoft Excel）。
4.2.2.高效数据引擎AE
4.2.2.1.AE的架构
高效数据引擎AE的架构设计充分满足了大数据分析需求，是具有高效复杂统计和分析能力的列存储关系型数据库管理系统。AE面向分析型应用领域，以列为基本存储结构和数据运算对象，结合列数据压缩处理、并行处理、智能索引等新型数据处理技术。下图为AE 的系统结构：
?逻辑层：
主要处理查询逻辑，包括SQL接口、内存管理引擎、压缩引擎、索引引擎、语义优化器与执行器等核心部件。
?存储层：
存储引擎将数据按列压缩存储到不同的数据包中，并自动生成智能索引。
?工具层：
工具层提供用户与数据库系统的交互接口，包括应用开发接口支持CAPI、JDBC、ODBC、https://www.doczj.com/doc/585670018.html,；数据加载工具，提供高效数据加载工具，支持并行加载；图形化的管理，简单、易用，提供友好的用户界面。
4.2.2.2.AE的功能
1、列存储
面对海量数据分析的I/O 瓶颈，AE把表数据按列的方式存储，其优势体现在以下几个方面：
?不读取无效数据：
降低I/O 开销，同时提高每次I/O 的效率，从而大大提高查询性能。查询语句只从磁盘上读取所需要的列，其他列的数据是不需要读取的。例如，有两X表，每X表100GB且有100列，大多数查询只关注几个列，采用列存储，不需要像行存数据库一样，将整行数据
取出，只取出需要的列。磁盘I/0 是行存储的1/10 或更少，查询响应时间提高10 倍以上。
?高压缩比：
压缩比可以达到5 ~ 20 倍以上，数据占有空间降低到传统数据库的1/10 ，节省了存储设备的开销。当数据库的大小与数据库服务器内存大小之比达到或超过2:1 （典型的大型系统配置值）时，列存的I/O 优势就显得更加明显，在某些场景下的运算性能比传统数据库快100倍以上。
2、透明压缩
AE允许用户根据需要设置配置文件，选择是否进行压缩。在启用压缩的情况下，根据数据的不同特性以及不同的分布状况，自动采用相应的压缩算法，如：
?行程编码（适用于大量连续重复的数据，特别是排序数据）；
?基于数据的差值编码（适用于重复率低，但彼此差值较小的数据列）；
?基于位置的差值编码（适用于重复率高，但分布比较随机的数据列）。
3、智能索引
与传统数据库索引技术相比，智能索引建立在数据包上（粗粒度索引），并且每个字段均自动建有索引，而传统索引建立在每行数据上（细粒度索引），因此访问智能索引要比访问传统索引需要更少的I/O （几万分之一）。同时，智能索引所占空间大约是数据的百分之一，而传统数据库索引则要占到数据的20 ~ 50% 。
AE采用粗粒度的智能索引，包含了描述数据间相互依赖关系的高级信息，有效的解决复杂的多表连接和子查询，能够准确识别数据包的需要，最大限度地减少磁盘I/O。智能索引与传统索引相比：
4、并行技术
AE实现了自动高效的并行SQL 执行方法，充分利用现代的SMP多核CPU资源并行
处理海量数据，具有智能的算法适配功能，并支持双向并行查询，进一步提高查询性能。
5、高性能数据加载
AE的列存储、多线程的双向并行加载策略以及特有的数据分块装载算法，为快速的批量加载提供了强大的技术保证。由于分块提交之后内存可以充分释放，使得后续数据包的载入性能不会有任何降低。在一个4 CPU、32GB内存的机器上，单表加载性能可达到200GB/小时，每秒可达到加载300,000行的速度，多表并发加载性能可达到500GB/小时以上。
6、内存管理
AE的内存模块将数据堆内存、大块内存、临时内存、加载内存等进行分类管理，并将控制锁分离，以获取良好的并发效率。数据堆内存采用LRU管理，释放成功率高，避免缓存被垃圾数据包占用。LRU列表根据数据包新鲜度实时排序，释放时按照约定的阀值进行顺序扫描。
为了得到良好的hash join、group by、sort运算的效率，内存模块支持对各运算缓冲区大小的分别设置。内存模块提供内部查错机制进行缓冲区上下限检查，避免AE因占用系统内存异常而被操作系统进程强制封杀。
4.2.2.3.AE的优势
AE的优势主要体现为“三高”优势：
?高性能
?列存储在大大减少了I / O 的同时, 显著地提高查询性能；
?智能索引大幅提高查询性能；
?非常快的数据加载（单表高达200GB/小时的加载速度）；
?高效的并行SQL 执行方法, 支持Hash Join、Merge Join 和NL Join；
?数据库可扩展性非常高。
?高性价比
?市场领先的数据压缩（从1:5到1:20以上），显著减少存储开销；
?减少服务器的数量，显著减少数据仓库运营成本。
?高可用性
?不要求设计特定的数据模型，例如要求星型模型、雪花模型；
?没有物化视图的要求，不要求复杂的数据分区或索引；
?易于实施和管理，只需要传统数据库1/10 的管理；
?支持市场上主流64 位操作系统。
执行
集群调度控制台展平
查询
?目标数据源支持多种数据源类型（关系数据库—Oracle,DB2,Gbase等，以及第三方格式）。
?全过程采用“拖拉拽”模式，操作便捷。
?支持元数据的增加，删除，修改等管理操作，支持元数据的校验，支持在任务设计中，输入源对语义元数据的直接引入。
?数据镜像功能呢，通过数据镜像功能可以把关系数据库中的表结构和数据复制同步到当前操作数据源上，然后业务操作可以基于镜像后的数据表进行再应用。
4.2.4.语义层
用友NC BAP平台通过语义模型功能，把面向技术人员的数据组织成面向业务的数据，实现业务人员通过易懂的业务语言就可进行以往需要技术背景的IT人员才能实现的业务报表查询分析，实现了懂业务就能自定义各种复杂的分析报表，如复杂的交叉表、分栏报表等。
?语义元数据支持跨数据库，支持多数据源，藉此屏蔽了数据库的差异，方便业务人员集中精力于业务模型；
?支持从数据库中现有物理表直接导入生成元数据；
?支持导入Excel文件来创建元数据；
?支持物理表的重建，以保持模型的一致性。
4.2.
5.分析建模
NC BAP支持可以灵活的通过多维建模功能，建立由多个维度和指标组成的多维数据分析模型，通过分析模型，进而在展现层进行可视化分析。这样可方便构建企业的各个业务主题分析应用，还可方便的将建立的分析包主题模型导入导出。
多维建模工具可以对数据分析模型进行设置，包括分析主题目录、模型设置区域、主题概览和工具栏等几部分。分析主题目录展现了所有主题的分类目录。模型设置区域分为主题的整体结构和具体属性两部分。主题概览显示出主题结构树上选中的模型对应的数据结构，比如当选择一个多维数据集时，显示其对应的事实表，当选中一个维度时，则显示其对应的维表。
4.2.6.透视表应用
通过NC BAP的数据透视表设计器，通过简单拖拽的方式即可实现复杂报表的设计制作，而这种操作类似于EXCEL的操作习惯，方便使用者上手及学习。
1、数据钻取：
使用者可方便在报表上对任意需要进一步查询的数据进行多种钻取；按位置钻取、按成品钻取、替代钻取。
2、指标、维度的切换分析：
在报表浏览的过程，使用者可方便的在对报表的指标、维度进行切换，无须复杂的报表重制。透视表中的指标和维度还可通过拖拽操作来改变顺序。
3、灵活的动态分析：
透视区域中的指标生效。使用者可对透视表的各项指标进行各种排序分析、排名分析、同比分析、环比分析、基比分析、占比分析等各种分析方法的应用。
4、预置统计分析功能：
使用者可借助BAP预置的统计分析方法，灵活的对分析的报表数据，按所需的统计模型，对未来进行预测分析。