数据仓库技术制定方案
- 格式:docx
- 大小:21.34 KB
- 文档页数:6
企业数据库建设方案一、引言随着信息化和数据驱动业务的兴起,企业对于数据库的需求越来越迫切。
数据库作为企业存储和管理数据的核心基础设施,其建设方案的合理性和有效性对于企业的运营和决策至关重要。
本文将为企业提供一份完整的数据库建设方案,以满足其各项业务需求和数据管理要求。
二、需求分析在制定数据库建设方案之前,首先需要对企业的需求进行全面的分析。
根据企业的实际情况,以下是一些可能的需求:1.数据存储和管理:企业需要一个可靠和高效的数据库系统,能够存储和管理大量的数据。
2.数据安全和权限控制:企业需要确保数据的安全性,并能够进行细粒度的权限控制,防止未授权的访问或操作。
3.数据备份和恢复:企业需要有合理的数据备份和恢复机制,以应对各种意外情况和灾难。
4.数据分析和报告:企业需要有数据分析和报告工具,能够提供可视化的数据分析和报表功能,帮助企业进行决策和规划。
三、技术选型在确定数据库建设方案之前,需要进行技术选型,选择合适的数据库管理系统(DBMS)。
以下是一些常见的DBMS:1.关系型数据库管理系统(RDBMS):如MySQL、Oracle、SQL Server等。
适用于结构化数据和复杂的查询操作。
2.非关系型数据库(NoSQL):如MongoDB、Redis等。
适用于海量数据的存储和高速读写操作。
3.图数据库:如Neo4j、OrientDB等。
适用于存储和查询关系数据。
根据企业的实际需求和数据特点,选择一种适合的技术来构建数据库系统。
四、数据库架构设计基于对企业需求的分析和技术选型,可以开始进行数据库架构设计。
以下是一些关键的设计决策:1.数据库模式设计:根据实际需求和数据特点,设计数据库的表结构和关系模式,保证数据的一致性和完整性。
2.数据库集群设计:如果企业需要处理大量的数据并保证高可用性和扩展性,可以考虑使用数据库集群,将数据分布到多个节点上。
3.数据库索引设计:根据数据库的查询需求和性能要求,设计合适的索引,加快数据的访问速度。
数据仓库建设规划图文前言数据仓库是企业决策的基础,能够帮助企业把分散的数据整合到一起,降低数据的冗余度和不一致度,并保证决策者及时准确地获取到有关于企业业务运营的信息。
而数据仓库建设规划是实现数据仓库建设的前提和保障。
本文将会介绍数据仓库建设规划的概述,及其在数据仓库建设过程中的具体应用。
数据仓库建设规划概述数据仓库建设规划是指基于业务战略、IT战略和企业治理要求,论证和分析数据仓库建设的目标、范围、基础设施、资源和人员安排,并制定全面和长期的数据仓库建设计划。
其目的是为了实现数据资产的价值最大化和企业业务分析的高效率开展。
具体来说,数据仓库建设规划包括以下几个方面的内容:1.数据仓库技术路线:在数据仓库建设过程中,需要选择哪些技术工具和平台,以及如何实现数据仓库的集成、存储、处理、管理和交互。
2.数据仓库的目标和范围:需要明确数据仓库的主要业务需求、数据需求以及数据质量标准,以便为数据仓库的整体架构和实施过程提供全面规划。
3.数据仓库基础设施:包括硬件基础设施、数据库应用软件、网络等设备和工具及相应的安全机制。
4.数据仓库资源和人员安排:需要评估数据仓库建设所需的人员和资源并计划并安排相应的人力、物力和财务方面的资源。
数据仓库建设规划的应用数据仓库建设规划对数据仓库的建设和运营都具有重要的作用。
在数据仓库建设过程中,数据仓库建设规划可以帮助企业在设计、实施和维护数据仓库过程中,更加全面、科学、系统地规划和部署数据仓库,从而提高数据仓库的建设效率,提高数据质量,提升企业的运营效率及决策水平。
具体来说,数据仓库建设规划可以体现在以下几个方面:1.业务需求分析:对不同类型的业务需求进行分析,确立数据仓库构建的业务模型和应用领域范畴。
借助业务分析工具和方法,对业务流程进行挖掘、建模和优化,设计出符合企业需要且便于数据获取和分析的数据模型。
2.技术实现:结合现有的IT设施和企业计算机软件系统,根据不同业务和应用领域制定数据仓库架构,并选择合适的技术工具和开发平台,如Hadoop、Hive、Spark等,以及各种开发框架、编程语言和库。
数仓建设方案一、引言随着大数据时代的到来,数据成为企业发展的重要资源。
而在处理和管理大数据方面,数据仓库(Data Warehouse)起到了关键的作用。
本文将介绍一个适用于数仓建设的方案,旨在提高数据管理和分析的效率。
二、背景数据仓库是一个以主题为导向、集成、稳定、相对历史的数据集合,可用于支持企业的决策制定。
在设计和构建一个完善的数据仓库之前,我们首先要明确背景和目标。
1. 背景说明说明数据仓库建设的原因和必要性。
例如,业务发展迅速,数据量激增,传统的数据存储和管理方式无法满足需求。
2. 目标设定明确数仓建设的目标,包括但不限于数据集成、数据质量提高、数据分析支持等。
三、建设方案本节将详细介绍数据仓库建设的方案,包括数据采集、数据存储和数据分析三个方面。
1. 数据采集数据采集是数据仓库建设的第一步,也是最关键的一步。
数据在采集过程中需要经过清洗、抽取、转换和加载等多个阶段。
清洗:处理数据中的无效、重复或错误的信息,确保数据的质量。
抽取:从各个业务系统中抽取所需数据,可使用ETL工具进行自动化操作。
转换:将抽取的数据进行转换,使其符合数据仓库的标准格式和结构。
加载:将转换后的数据加载至数据仓库中,储存为独立的数据表。
2. 数据存储数据存储是指将采集到的数据以结构化的方式存放,以便后续的查询和分析。
常见的数据存储方式有关系型数据库和大数据存储技术。
关系型数据库:适用于小规模和结构化数据的存储,例如使用MySQL或Oracle等。
大数据存储技术:适用于海量数据的存储和处理,例如使用Hadoop、Spark和Hive等。
3. 数据分析数据分析是数据仓库建设的最终目标,通过分析数据可以获取有价值的信息和洞察力,为企业的决策提供支持。
数据挖掘:利用统计学和机器学习等技术挖掘数据中隐藏的模式和规律。
报表和可视化:将数据以图表、表格等形式展现,便于决策者理解和分析。
四、实施计划在明确建设方案后,需要制定一个详细的实施计划,包括各阶段的时间安排和资源投入。
数据仓库建设方案数据仓库建设方案数据仓库建设方案是指根据组织的数据需求和业务目标,经过系统性的分析和设计,建立一个统一、集成、可靠、灵活的数据存储和管理系统。
通过数据仓库建设方案,组织可以更好地利用数据资源,支持决策和业务流程,提高组织的运营效率和竞争力。
首先,数据仓库建设方案需要进行需求分析。
通过与组织各个部门的沟通和了解,明确业务需求和数据需求,确定数据仓库的目标和范围。
同时,也需要考虑数据的来源和格式,以及数据的质量和安全性等方面的需求。
其次,数据仓库建设方案需要进行数据模型设计。
根据需求分析的结果,设计数据仓库的结构和组织方式,确定数据的存储和关联关系。
同时,也需要考虑数据的处理和转换方式,以及数据的更新和维护策略等方面的设计。
然后,数据仓库建设方案需要进行技术选型。
根据数据仓库的规模和复杂程度,选择适合的数据库管理系统和硬件设备,以及相应的数据集成和分析工具。
同时,也需要考虑数据仓库的架构和性能等方面的技术选型。
接着,数据仓库建设方案需要进行系统实施和测试。
根据设计和选型的结果,进行数据仓库的搭建和配置,导入和清洗数据。
同时,也需要进行系统的功能和性能测试,确保数据仓库的正常运行和满足业务需求。
最后,数据仓库建设方案需要进行系统运维和优化。
定期进行数据的更新和维护,监控和管理数据仓库的性能和安全。
同时,也需要根据业务需求和技术发展,对数据仓库进行优化和改进,提升数据仓库的效率和可用性。
总之,数据仓库建设方案是一个综合性的工程,需要从需求分析到系统实施再到运维优化,进行全面的规划和设计。
通过数据仓库建设方案,组织可以更好地管理和利用数据资源,提高业务的决策能力和竞争力,实现可持续的发展。
一,数据仓库的数据模型1. 数据源数据源,顾名思义就是数据的来源,互联网公司的数据来源随着公司的规模扩张而呈递增趋势,同时自不同的业务源,比如埋点采集,客户上报等。
2. ODS层数据仓库源头系统的数据表通常会原封不动地存储一份,这称为ODS(Operation Data Store)层, ODS层也经常会被称为准备区(Staging area),它们是后续数据仓库层(即基于Kimball维度建模生成的事实表和维度表层,以及基于这些事实表和明细表加工的汇总层数据)加工数据的来源,同时ODS层也存储着历史的增量数据或全量数据。
3. DW层据仓库明细层(Data Warehouse Detail ,DWD)和数据仓库汇总层(Data Warehouse Summary, DWS)是数据仓库的主题内容。
DWD和DWS层的数据是ODS 层经过ETL清洗、转换、加载生成的,而且它们通常都是基于Kimball的维度建模理论来构建的,并通过一致性维度和数据总线来保证各个子主题的维度一致性。
4. DWS层应用层汇总层主要是将DWD和DWS的明细数据在hadoop平台进行汇总,然后将产生的结果同步到DWS数据库,提供给各个应用。
二,数据采集数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上,期间有可能会做一些简单的清洗。
比较常见的就是用户行为数据的采集先做sdk埋点,通过kafka实时采集到用户的访问数据,再用spark做简单的清洗,存入hdfs作为数据仓库的数据源之一。
三,数据存储随着公司的规模不断扩张,产生的数据也越来越到,像一些大公司每天产生的数据量都在PB级别,传统的数据库已经不能满足存储要求,目前hdfs是大数据环境下数据仓库/数据平台最完美的数据存储解决方案。
在离线计算方面,也就是对实时性要求不高的部分,Hive还是首当其冲的选择,丰富的数据类型、内置函数;压缩比非常高的ORC/PARQUET文件存储格式;非常方便的SQL 支持,使得Hive在基于结构化数据上的统计分析远远比MapReduce要高效的多,一句SQL可以完成的需求,开发MR可能需要上百行代码;而在实时计算方面,flink是最优的选择,不过目前仅支持java跟scala开发。
阿里数据仓库解决方案阿里数据仓库是由阿里巴巴集团自主研发的一套大数据存储与分析解决方案。
随着互联网的发展和大数据的迅猛增长,越来越多的企业开始意识到数据对于业务决策的重要性。
阿里数据仓库作为一种高效、可靠的数据存储和分析平台,为用户提供了全面、深入的数据洞察。
一、架构设计1. 数据采集与存储:阿里数据仓库采用分布式架构,包含数据采集、数据清洗和数据存储三个模块。
其中,数据采集模块负责从各种数据源(如数据库、日志、文件)中获取数据,并对数据进行初步处理。
数据清洗模块用于对采集到的数据进行清洗、转换和去重等操作,确保数据质量。
数据存储模块则将清洗后的数据按照一定的规则进行存储,以便后续的数据分析和挖掘。
2. 数据分析与挖掘:在数据存储模块中,阿里数据仓库提供了多种存储引擎和分区方式,以满足不同用户的数据分析需求。
用户可以通过SQL语言进行数据查询和分析,也可以使用Hadoop的MapReduce框架进行复杂的数据挖掘和计算。
此外,阿里数据仓库还支持实时数据分析,用户可以通过实时流处理技术对不断产生的数据进行实时处理和分析。
3. 数据可视化与应用:阿里数据仓库提供了强大的数据可视化和应用开发功能,用户可以通过简单的拖拽操作,创建丰富多样的数据报表和仪表盘。
同时,阿里数据仓库还支持多种数据应用开发框架,用户可以基于数据仓库构建自己的数据分析应用和业务应用。
二、核心特性1. 高可用性:阿里数据仓库采用分布式架构和容错技术,确保系统在硬件故障、网络故障等情况下仍然可用。
此外,阿里数据仓库还具备自动化的故障恢复和负载均衡机制,提高系统的可用性和稳定性。
2. 高性能:阿里数据仓库在数据存储和分析方面进行了优化,采用了列式存储和压缩算法,提高了系统的存储密度和数据访问速度。
同时,阿里数据仓库还支持并发查询和并行计算,提高系统的处理能力和响应速度。
3. 数据安全:阿里数据仓库采用多层次的数据安全策略,包括数据加密、访问控制和审计跟踪等功能,确保用户的数据得到有效的保护。
数据仓库方案•数据仓库概述•数据仓库的架构•数据仓库的设计•数据仓库的建立•数据仓库的使用和维护•数据仓库的发展趋势和未来展望01CATALOGUE数据仓库概述数据仓库是一个大型、集中式存储系统,用于存储和管理企业或组织的数据。
它是一个面向主题的、集成的、非易失的数据集合,支持管理决策制定。
集成性数据仓库中的数据来源于多个源系统,经过清洗、转换和整合后集成在一起。
决策支持性数据仓库为决策制定提供支持,通过数据分析、报表和可视化工具来帮助决策者做出决策。
非易失性数据仓库中的数据是历史的、稳定的,不会因为操作频繁而发生变动。
面向主题性数据仓库中的数据组织是按照主题进行分类的,例如销售、库存、财务等。
操作型数据仓库(Operational Data Warehouse, ODW):用于支持企业日常业务操作和流程。
分析型数据仓库(Analytical Data Warehouse, ADW):用于支持高级数据分析、报表和可视化。
混合型数据仓库(Hybrid Data Warehouse, HDW):同时包含操作型和分析型数据仓库的特点,既支持日常操作也支持高级分析。
02CATALOGUE数据仓库的架构包括企业内部的业务系统、CRM系统、ERP系统等,这些系统是企业数据的主要来源。
内部数据源从数据源中抽取需要的数据,进行清洗和转换。
E(Extract)对抽取的数据进行清洗、整合、转换和加载等操作,使其满足数据仓库的需求。
T(Transform)将转换后的数据加载到数据仓库中,供后续分析和查询使用。
L(Load)星型模型以事实表为中心,周围关联多个维度表,形成星型结构。
星座模型将多个星型模型关联起来,形成一个更大型的模型。
雪花模型将维度表进一步拆分,形成更复杂的结构。
存储层OLAP层多维分析对数据仓库中的数据进行多维度的分析和查询,如时间维度、地理维度、产品维度等。
切片和切块对数据仓库中的数据进行切片和切块操作,提取需要的数据进行分析。
数据库建模技术方案1.引言1.1 概述数据库建模技术是指通过对现实世界中的数据进行抽象和建模,设计出数据库的结构和关系,以实现数据的存储、管理和处理。
在信息化时代,数据库建模技术成为了一项基础而重要的工作,对于实现企业数据化管理和决策支持具有重要意义。
本文将从数据库建模技术的概述、方案以及未来发展等方面进行详细介绍和分析。
在进行数据库建模时,需考虑到数据的实体、属性、关系等因素,以及数据之间的联系和约束关系。
通过对现实世界的实体进行建模,我们可以将数据划分为不同的实体集合,并定义实体的属性和关系。
通过这样的抽象和建模工作,数据的结构和关系得以清晰地展示出来,为实现高效的数据管理和应用提供了基础。
数据库建模技术方案的选择与设计是数据库建模过程中的重要环节。
不同的数据库建模技术方案适用于不同的场景和需求。
常见的数据库建模技术方案包括关系模型、层次模型、网络模型等。
关系模型是最为常见和广泛应用的数据库建模技术方案,通过表格的形式展现数据之间的关系,具有较好的可扩展性和灵活性。
而层次模型和网络模型则适用于较为特殊的数据结构和应用场景。
在未来,随着大数据、云计算和人工智能等技术的快速发展,数据库建模技术也将不断创新和演进。
比如,随着数据量的增大,分布式数据库建模技术将得到更广泛的应用;随着数据的多样化和复杂化,图数据库建模技术将具备更大的发展空间。
此外,数据库建模技术还应与其他技术进行整合,如面向对象技术、数据挖掘技术等,以提高数据库的性能和功能。
综上所述,数据库建模技术是现代信息管理的重要组成部分,通过对现实世界的数据进行抽象和建模,实现数据的存储、管理和处理。
不同的数据库建模技术方案适用于不同的场景和需求,而未来的发展则需要与其他相关技术相结合。
对于企业和个人而言,熟练掌握和应用数据库建模技术,将有助于提高数据管理和决策支持的效率和质量。
文章结构部分的内容可以包括以下几个方面:1. 文章主题:介绍文章的主要内容和讨论的问题,确保读者能够在阅读前了解文章的目的和意义。
数据仓库制定方案在当下的数据仓库系统安全控制模块中,我国数据仓库安全分为不同的等级。
总体来说,我国的数据仓库安全性是比较低。
为更好的健全计算机数据仓库体系,进行数据仓库安全体系的研究是必要的。
很多软件都是因为其比较缺乏安全性而得不到较大范围的应用,归根结底是数据仓库安全性级别比较低。
为满足现阶段数据仓库安全工作的需要,有利于数据仓库保密性的控制,保证这些数据存储与调用的一致性。
当前数据仓库安全控制过程中,首先需要对这些数据进行可用性的分析,从而有利于避免数据仓库遭到破坏,更有利于进行数据仓库的损坏控制及其修复。
其次为了保证数据仓库的安全性、效益性,也离不开对数据仓库整体安全性方案的应用。
最后必须对数据仓库进行的一切操作进行跟踪记录,以实现对修改和访问数据仓库的用户进行追踪,从而方便追查并防止非法用户对数据仓库进行操作。
2.1数据仓库安全整体规划本方案通过对电力行业敏感信息泄露安全威胁的分析,对数据仓库安全进行整体设计与规划,通过全系列数据仓库安全产品相互之间分工协作,共同形成整体的防护体系,覆盖了数据仓库安全防护的事前诊断、事中控制和事后分析。
制定严密可行的实施计划,整个工程严格按照计划进行;公司质量控制部利用ISO9000质量管理规范对工程的软件开发及实施全过程进行监督和控制;建立完善的软件开发和工程实施的文档体系。
对程序进行测试,对各个模块之间的关联情况下可能出现的问题进行严密的测试,并不断完善在测试过程中暴露出来的问题。
在这过程中质量控制小组将全程参与,确保软件质量。
需求调研是数据仓库开发的最重要的环节之一,在调研的过程中能否真实、准确地描述客户的需求,对于数据仓库的开发有着举足轻重的影响。
与客户沟通不够导致对同一个事物的描述或者理解有分歧和差异,或者调研过程中流于表面文字,而没有进入实际的操作,都可能造成在需求调研的过程中造成对需求不精确的理解。
失之毫厘,谬之千里,需求调研的微小差异可能会在软件的开发过程中造成较大的偏差,直接影响了工程的建设质量。
为此我们为需求调研工作分配了充裕的人力的时间,制定了完善的调研方案,对需求调研的深度和广度做了规范性的描述。
确保需求调研的工作质量。
2.2数据仓库开发阶段划分与目标2.2.1、需求分析阶段主要对供电公司的需求、软硬件条件、数据状况等情况进行调研,对需求调研的结果进行分析,同时考虑需求的广泛适用性,归结出其中共同的部分和相异的部分,以便下一步根据需求完成系统软件开发。
2.2.2、物理建模阶段依照需求分析得到的逻辑模式,设计数据仓库中的数据仓库,开发数据仓库中数据的物理存储结构,即设计多维数据结构的事实表和维表。
2.2.3、数据转换阶段此阶段实现从多个源系统中抽取、清理、一致化、综合、装载数据等过程的设计和编码。
2.2.4、生成多维模式并搭建立方体阶段在已创建的仓库模式的基础上,对维定义了层和层次;创建了需要预计算的量度;利用优化器根据业务进行了切片优化和预处理,生成MQT(物化视图);在模式中建立立方体,供查询和多维分析使用。
2.2.5、多维分析及展现阶段使用数据分析和展现工具,开发多维分析程序以及展现页面。
2.2.6、数据挖掘阶段使用数据挖掘建模工具进行聚类、关联、分类、预测,使用数据挖掘模型图示化工具,使用图形展示挖掘结果。
2.2.7、数据仓库项目目标使数据仓库达到一致性、有效性、易用性、便携性、安全性、共享、纠错、速度、原子事物处理、持久性和备份、降低成本和可扩展性、复杂的计算、CRUD 把信息系统中大量的数据按一定的模型组织起来,提供储存、维护、检索数据的功能,使信息系统可以方便、及时、准确地从数据仓库中获得所需的信息。
2.3数据仓库技术要求和范围项目方案要面向未来,技术必须具有合理性和前瞻性,应当符合以下几点要求:2.3.1可扩展性系统的数据仓库技术方案要能将现有各种资源和应用系统有效地集成在一起,系统数据仓库的结构要合理,要具有良好的可扩展性,由于IT 领域技术发展十分迅速,应用环境,系统硬件及系统软件都会不可避免将被更新,因此系统的可扩充性及版本的兼容性好坏,直接影响着应用系统和用户需求的发展和功能的提升。
另一方面,它还要有与其它系统的接口能力,利用各系统功能之长,进行优势互补。
2.3.2标准化现有信息技术的发展越来越快,为了使该系统在未来运行过程中其技术能和整个信息技术的发展同步,系统数据仓库应具有备灵活适应性和良好的可扩展性,系统的结构设计和产品选型要坚持标准化,首先采用国家标准和国际标准,其次采用广为流传的实用化工业标准。
2.3.3可管理性本系统数据仓库是一个比较大、较复杂的系统,它包含大量硬件设备、软件系统和数据信息资源,这些资源分布在各个不同的地点,因此系统的技术方案要提供多层次、方便、有效的管理手段,为系统正常运行提供技术管理保障。
2.3.4可配臵性由于整个系统数据仓库涉及的系统比较多,业务种类比较复杂,因此系统的灵活配臵性就显得非常重要,系统的可配臵性应包括部门配臵、人员角色配臵、公文样式配臵、处理流程配臵等。
2.3.5数据仓库项目范围1、数据仓库是信息系统的核心和基础2、数据仓库是信息系统的各个部分是否能紧密地结合在一起以及如何结合的关键所在。
3、数据仓库设计是信息系统开发和建设的重要组成部分2.4开发过程和结构选择2.4.1.结构开发在数据仓库规划中一般需要经历这样几个过程:选择实现策略、确定数据仓库的开发目标和实现范围、选择数据仓库体系结构、建立商业和项目规划预算。
当数据仓库规划完成后,需要编制相应的数据仓库规划说明书,说明数据仓库与企业战略的关系,以及与企业急需处理的、范围相对有限的开发机会,重点支持的职能部门和今后数据仓库开发工作的建议,实际使用方案和开发预算,作为数据仓库实际开发的依据。
2.4.2.结构选择数据仓库的结构可以进行灵活的选择,可将组织所使用的各种平台进行恰当的分割,把数据源、数据仓库和最终用户使用的工作站分割开来进行恰当的设计。
2.5数据仓库的应用结构基于业务处理系统的数据仓库在这种结构中,将运作的数据用于无需修改数据的只读应用程序中。
具有这种结构的数据仓库元数据仓库是一种虚库,而不是数据仓库自身的元数据。
在数据仓库元数据仓库的直接指导下,对数据仓库的查询就是简单的从数据仓库中抽取数据。
单纯数据仓库利用在数据仓库中的数据源净化、集成、概括和集成等操作,将数据源从业务处理系统中传输进集中的数据仓库,各部门的数据仓库应用只在数据仓库中进行。
这种结构经常发生在多部门、少用户使用数据仓库的情况下。
这里的集中仅仅是逻辑上的,物理上可能是分散的。
单纯数据集市数据集市是指在部门中使用的数据仓库,因为企业中的各个职能部门都有自己的特殊需要,而统一的数据仓库可能不能满足这些部门的特殊要求。
这种体系结构经常发生在个别部门对数据仓库的应用感兴趣,而组织中其他部门却对数据仓库的应用十分冷漠之时,由热心的部门单独开发式所采用。
数据仓库和数据集市企业各部门拥有满足自己需要的数据集市,其数据从企业数据仓库中获取,而数据仓库从企业各种数据源中收集和分配。
这种体系结构是一种较为完善的数据仓库体系结构,往往发生在组织整体对数据仓库应用感兴趣之时所采用的体系结构。
2.6数据仓库的技术平台结构单层结构单层结构主要是在数据源和数据仓库之间共享平台,或者让数据源、数据仓库、数据集市与最终用户工作站使用同一个平台。
共享一个平台可以降低数据抽取和数据转换的复杂性,但是共享平台在应用中可能遇到性能和管理方面的问题,这种体系结构一般在数据仓库规模较小,而组织的业务系统平台具有较大潜力之时所采用。
客户/服务器两层结构一层为客户机,一层为服务器,最终用户访问工具在客户层上运行,而数据源、数据仓库和数据集市位于服务器上,该技术机构一般用于普通规模的数据仓库。
三层客户/服务器结构基于工作站的客户层、基于服务器的中间层和基于主机的第三层。
主机层负责管理数据源和可选的源数据转换;服务器运行数据仓库和数据集市软件,并且存储仓库的数据;客户工作站运行查询和报表运用程序,且还可以存储从数据集市或数据仓库卸载的局部数据。
在数据仓库稍具规模,两层数据仓库结构已经不能满足客户的需求,要讲数据仓库的数据存储管理、数据仓库的应用处理和客户端应用分开之时,可以采用这种结构。
多层式结构这是在三层机构基础上发展起来的数据仓库结构,在该结构中从最内数据层到最外层的客户层依次是:单独的数据仓库存储层、对数据仓库和数据集市进行管理的数据仓库服务层、进行数据仓库查询处理的查询服务层、完成数据仓库应用处理的应用服务层和面向最终用户的客户层。
体系层次可能多达五层,这种体系结构一般用于超规模数据仓库系统。
2.7数据仓库使用方案和项目规划预算数据仓库的实际使用方案与开发预算,是数据仓库规划中最后需要确定的问题。
因为数据仓库主要用于对企业管理人员的决策支持,确保其实用性是十分重要的,因此需要让最终用户参与数据仓库的功能设计。
这种参与是通过用户的实际使用方案进行的,使用方案是一个非常重要的需求模型。
实际使用方案必须有助于阐明最终用户对数据仓库的要求,这些要求有的只使用适当的数据源就可以得到基本满足,而有的却需要来自企业外部的数据源,这就需要通过使用方案将这些不同的要求联系起来。
实际使用方案还可以将最终用户的决策支持要求与数据仓库的技术要求联系起来。
因为当用户确定最终要求后,为元数据仓库的范围确定一个界限。
还可以确定所需要的历史信息的数量,当根据特定的用户进行数据仓库的规划时,就可确定最终用户所关心的维度(时间、方位、商业单位和生产企业),因为维度与所需要的概括操作有明显的关系,必须选择对最终用户有实际意义的维度,如:“月”、“季度”、“年”等。
最后,还可以确定数据集市/数据仓库的结构需要,使设计人员确定采用单纯数据仓库结构,还是单纯的数据集市结构或者是两者相结合的结构。
在实际使用开发方案确定后,还需要对开发方案的预算进行估计,确定项目的投资数额。
投资方案的确定可以依据以往的软件开发成本,但是这种预算的评估比较粗糙。
另一种方法是参照结构进行成本评估,也就是说,将数据仓库实际使用方案所确定的构件进行分解,根据各个构件的成本进行预算估算。
数据仓库的构件包含在数据源、数据仓库、数据集市、最终用户存取、数据管理、元数据管理、传输基础等部分中,这些构件有的在企业原有信息系统中已经具备,有的可以选择商品化构件,有的则需要自我开发。
根据这些构件的不同来源,可以确定比较准确的预算。
在完成数据仓库规划后,就需要编制数据仓库开发说明书,说明系统与企业战略目标的关系,以及系统与企业急需处理的范围相对有限的开发机会,所设想的业务机会的说明以及目标任务概况说明、重点支持的职能部门和今后工作的建议。