下载文档原格式
电信行业中的大规模数据仓库建设技术与实施随着信息技术的快速发展，电信行业所产生的数据量呈现爆炸式增长的趋势。
为了更好地管理和利用这些海量的数据，电信企业开始重视数据仓库的建设和实施。
本文将从技术和实施的角度，探讨电信行业中大规模数据仓库的建设。
首先，对于电信行业中的大规模数据仓库建设，选择合适的技术和架构是非常重要的。
数据仓库通常采用的是多层架构，包括操作型系统、数据仓库以及数据分析等几个关键层次。
在选择技术时，应考虑到数据仓库的规模、数据类型、数据结构等因素，以便选择合适的数据库管理系统（DBMS）、ETL工具、分析工具等。
其次，大规模数据仓库的建设中，数据的质量是至关重要的。
电信行业的数据包含了大量的用户信息、通信记录、流量数据等，这些数据的准确性直接影响到后续的数据分析和应用。
因此，在数据仓库建设过程中，应严格把关数据的来源、采集、清洗等环节，确保数据的准确性和一致性。
此外，针对电信行业中的大规模数据仓库，数据的存储和处理也是需要重点关注的方面。
海量的数据存储和处理需要强大的硬件设备和技术支持。
在存储方面，可以采用分布式存储系统，通过数据分片、冗余备份等方式提高存储的可靠性和性能。
在处理方面，可以采用并行计算、分布式计算等技术，提高数据的处理速度和效率。
此外，为了更好地利用大规模数据仓库进行数据分析和应用，电信企业还需要建立一套完整的数据分析平台和应用系统。
数据分析平台可以包括数据仓库查询与分析工具、数据挖掘工具、可视化工具等，这些工具可以帮助企业从大规模数据中挖掘出有价值的信息和模式。
应用系统方面，可以根据企业的业务需求，开发相应的应用系统，如智能营销系统、用户画像系统等，以提升企业的运营效率和服务质量。
而在大规模数据仓库的实施过程中，还需注意以下几点。
首先，要制定合理的数据仓库建设规划和项目计划，明确项目目标和阶段性成果，确保项目能够按时、按质量完成。
其次，要加强项目管理和团队协作，建立有效的沟通机制和协调机制，确保各环节的协同推进。
电信行业数据仓库应用情况分析及展望从2001年开始，国内的电信行业开始着手进行数据仓库系统的建设和应用工作。
经过五年多时间，大部分运营商不仅已经完成了数据仓库的建设工作，而且已经开始出现很有价值的业务应用，为企业内部管理和外部市场竞争活动提供了有力的支撑。
电信行业数据仓库建设情况概述从上世纪90年代开始，随着电信行业垄断格局被打破，电信行业的市场竞争越来越激烈，在2000年左右，电信企业间的竞争已经不满足于单纯的价格战手段，迫切需要提升竞争的手段和方法，提高企业的市场竞争力。
国际上的电信运营商在经历了传统的价格战之后，为了提升企业的竞争力，充分使用了各种信息化手段，其中，数据仓库技术是主要的手段。
据统计，国际上资产排名前十名的电信运营商，均建设了数据仓库系统。
以中国移动为典型代表，从2001年开始进行了数据仓库的设计和准备工作，在建设数据仓库的同时，也在逐步构筑完整的数据仓库业务应用内容。
2002年完成了系统的详细的设计过程，2003年中国移动完成了数据仓库系统的建设工作，2004年建立并完善了初步的应用体系，2005年开始进行专项的数据质量整改工作。
中国联通也从2003年开始陆续启动了数据仓库系统项目的设计、建设和应用等工作。
与国外电信运营商相比，国内电信行业数据仓库项目有如下的特点：1．数据量更加庞大中国移动已经发展成为世界最大的无线运营商，拥有近3亿的客户，话务量大，数据量也十分庞大。
目前中国移动的数据仓库设备容量已经超过上千个TB，而在国外的电信运营商，最大的仅300TB。
庞大的数据量对数据仓库的处理能力等多个方面构成了挑战，对系统的性能提出了更高的要求。
2．业务管理不规范，导致数据仓库较复杂由于国内电信企业的业务管理仍不规范，导致各省公司之间的产品差别很大，业务模式也有很大区别，这使数据仓库的设计十分复杂，同时对数据的梳理工作也变得十分艰巨。
3．业务应用水平仍有差距从总体而言，国内的数据仓库在应用水平方面，较国外的先进水平仍有差距。
浅谈数据仓库在电信企业中的应用（新疆电信有限公司吴磊）摘要：本文着重阐述了数据仓库的基本概念、相关技术和体系结构，并介绍了数据仓库在电信企业中的一些应用。
关键词：数据仓库数据挖掘OLAP一、引言随着中国加入WTO和国内电信行业的改革重组，电信市场正逐步放开。
为了保持竞争的优势，各运营商管理层和业务人员必须能实时了解企业的运行状况，获取各个专题的市场信息，并根据市场反馈的情况随时调整业务策略，以求在竞争激烈的电信市场中赢得先机抢占市场，获得更好的利润并提升企业品牌形象。
如今各电信运营商的业务支持系统构成复杂，数据种类繁多，数据量极为庞大，信息的提供在速度、质量和范围上不能满足市场竞争所要求的标准，为此各运营商纷纷针对企业内部的实际情况，着手引入数据仓库技术，以整合内部的各业务系统分散、孤立的业务数据，提供方便快捷的数据访问手段，支持企业内部不同部门、不同需求、不同层次的用户随时获得自己所需的信息，促进企业“以客户为中心”的运营模式的开展，以提高企业的核心竞争力。
二、数据仓库的概念随着C/S技术的成熟和并行数据库的发展,信息处理技术的发展趋势已变为:从大量的事务型数据库中抽取数据,并将其清理、转换为新的存储格式,也就是为决策目标把数据聚合在一种特殊的格式中。
随着此过程的发展和完善,这种支持决策的、特殊的数据存储即被称为数据仓库(Data Warehouse, DW)。
数据仓库是一种管理技术，它能够将分布在企业网络中不同站点的商业数据集成到一起，为决策者提供各种类型的、有效的数据分析，起到决策支持的作用。
数据仓库概念的创始人W.H.Inmon在《建立数据仓库》一书中指出：“数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合，用以支持经营管理中的决策制定过程。
”所谓主题，它是数据归类的标准，每个主题对应一个客观分析领域，如销售状况、人事状况、整个企业的利润状况等。
它可以辅助决策集成多个部门不同系统的大量数据。
目录电信业存储备份系统建设方案1行业特点1分析需求2IBM公司存储产品优势2IBM存储产品解决方案3NAS方案3IBM NAS技术特点3方案特点：4IBM NAS200，300产品简介:4NAS200 报价参考:5NAS300 报价参考：7iSCSI方案10iSCSI技术简介10现在与未来：11方案特点:11IBM 200i产品简介:12NAS200i 报价参考：12SAN方案14存储高可用性解决方案（双机热备方案, FAStT200+EDI HA Software）14FAStT200 报价参考：18数据备份解决方案（LTO+TSM)19LTO+TSM的特点：开放线性磁带技术(LTO™）19IBM LTO报价参考22TSM简介25大容量高性能存储解决方案27电信业存储备份系统建设方案行业特点众所周知电信行业对IT技术的性能、可靠性、可用性和计算成本都有非常高的要求。
随着中国电信业务的高速发展,以及日益激烈的行业竞争,谁首先利用先进的信息技术手段把握市场方向，采用先进的管理方法,对客户提供优质的服务，走在行业的前列,谁就能够立于不败之地。
对于电信行业来说，数据是公司至关重要的资产之一,是系统运行的血脉，保护企业的关键数据并加以合理的利用已成为企业成功的关键因素。
对已有数据进行集中存储与分析，有助于对竞争对手进行分析,降低进入市场时间,提高消费者的满意度并占据更有利的竞争位置。
据美国国家计算机安全协会统计，每丢失20MB的关键数据，销售/市场营销部门将损失US＄17，000,财务部门将损失US＄19，000，工程部门将损失US＄98，000，而据PCWeek 统计，如果丢失关键业务数据超过10天以上，50%的企业将永远无法恢复运营。
因此,数据的集中管理与备份已成为电信信息管理的当务之急.分析需求如何对数据进行存储和管理至关重要。
有效地存储和管理数据与信息的快速访问和有效利用相结合是商业持续发展的基本因素。
运用数据仓库技术构建电信企业经营分析系统电信企业经营分析系统是指运用数据仓库技术构建的一套数据分析系统，旨在帮助电信企业对企业运营的各个方面进行分析与决策，提高经营效率和决策质量。
下面，本文将对如何运用数据仓库技术来构建电信企业经营分析系统进行详细介绍。
1. 数据仓库技术数据仓库是一种面向主题、集成、时变和非易失的数据集合，用于支持企业决策。
数据仓库技术主要分为三个阶段：（1）数据收集：包括数据源的选择、数据采集和数据清洗。
（2）数据集成：将多个数据源的数据统一，并进行数据清洗和数据加工等处理，形成统一的数据仓库。
（3）数据分析：将收集到的数据进行统计分析、挖掘和可视化展示。
2. 构建电信企业经营分析系统（1）数据收集收集数据涉及到对各个业务领域的各类数据进行采集，包括用户数据、营销数据、客服数据等。
收集到的数据需要进行去重、清洗等操作。
（2）数据集成搭建数据仓库涉及技术的选型、数据库设计、常规运维等工作。
在数据集成方面，可以使用ETL（Extract-Transform-Load）工具进行数据的转换和加载，以确保数据的一致性和准确性。
（3）数据分析电信企业经营分析系统的主要功能是为管理层提供数据分析，例如通过数据分析建立运营财务预算、配置网络资源、进行用户行为分析等。
最终可以通过数据可视化手段，如图表、报表等，使分析结果更易于理解和使用。
3. 数据分析应用（1）用户分析对于电信企业而言，对用户的分析往往是其中最重要的部分。
电信企业经营分析系统可以通过用户分析，为企业提供客户需求分析、客户丢失分析、客户信用评估等重要信息。
（2）营销分析营销分析可为电信企业提供营销策略、市场份额等信息。
通过数据分析，企业可以预测用户的消费需求及行为方向，提高营销效率。
（3）财务分析财务分析部分是传统管理系统的一个组成部分。
电信企业经营分析系统可以通过财务分析部分，为企业提供收益分析、成本分析、投资回报分析等。
总之，运用数据仓库技术构建电信企业经营分析系统可以为企业提供全方位的数据分析和决策支持，降低企业风险和提高运营效率和利润率。
电信运营商数据仓库建设实践随着社会的不断发展，通信技术的不断进步，电信运营商在服务质量、效率和客户体验方面受到越来越多的关注。
数据仓库是电信运营商提高运营能力的重要技术手段之一，它能够帮助电信运营商深入了解顾客需求，进行有效管理和优化运营等方面发挥重要的作用。
一、数据仓库的概念数据仓库是指将多个不同的数据源的数据集成，再通过ETL进行数据清洗、转换和加载到一个统一的数据集合中，同时为了提升数据分析的效率，通过对数据进行多维度建模，使复杂数据的查询变得简单而又快速的技术方法。
数据仓库中的数据是历史数据，它们不仅可以帮助企业进行决策，而且能够了解业务运行的变化趋势。
二、数据仓库的建设数据仓库的建设是一个系统工程，需要从多方面进行考虑。
1、数据结构规划数据仓库的建设首先需要根据公司的业务情况和数据结构进行规划，确定数据集成的数据源和数据内容；然后根据业务需求进行多维度的建模，确定事实表和维度表的数据结构。
在这个过程中，需要专业的技术团队根据业务数据建立多层次的数据结构模型，加快数据查询速度。
同时还需要考虑到数据结构的扩展性和灵活性，确保数据仓库可以适应未来发展。
2、ETL 过程建设ETL过程是数据仓库建设过程中的核心环节之一，它对数据清洗、转换和加载的技术要求较高。
ETL过程建设需要专业的技术团队设计和实现。
在此过程中要考虑到数据的准确性和完整性。
从数据源拆分到数据的转换和加载，并进行清洗和优化等操作，最后保障数据质量，使数据仓库建设更具有效性、规模更大。
3、数据安全在数据仓库建设过程中，数据安全是非常重要的因素。
从数据的安全存储和访问权限控制等方面考虑。
同时，需要规划梳理和制定合适的数据管理和安全策略，确保数据的完整性和安全性，从根本上保障管理决策的可操作性。
4、系统性能优化数据仓库在运作中的性能和稳定性越来越受到关注。
系统性能优化包括数据源的合理性、数据仓库数据库的优化、控制数据仓库的访问流量，调整ETL处理的流程等多个方面。
探析：电信企业数据仓库的建设数据仓库，简单地说，就是为了保证数据查询和分析的效率，按照主题将所有的数据分门别类进行存储，需要的时候，按主题提取数据并做进一步的分析处理。
国外应用情况为了实现从产品导向往客户导向的转变，目前电信企业纷纷建立自己的客户关系管理系统，以实现企业营销、销售和客户服务等职能的组织架构和流程的一整套管理体系。
从全球来看，美国几乎每一个较大的电信运营商都正在建立或已经在利用数据仓库实现其客户关系管理。
例如，以数据仓库为核心的客户关系管理系统提供的客户信息以及营销分析，已成为AT&T决策的重要营销依据。
电信企业数据仓库的构建要构建电信企业的数据仓库，必须首先找准定位，然后做好需求设计。
数据仓库在电信企业的定位目前，电信企业数据仓库的应用一般是集中在经营分析和营销决策支撑两方面。
一方面数据仓库从营业、计费账务、渠道、客服中心等生产、管理系统获取市场经营的所有有关信息，经过整合、清洗等环节，按主题存储，形成企业内部有关市场经营的统一数据平台，通过查询、报表、多维分析等方式提供给数据分析用户和营销决策人员;同时，数据仓库根据客户交互系统的需求，经过分析或挖掘，将客户异常消费、流失客户预警、营销活动目标客户等信息反馈到各客户接触系统，供营销经理、营业员、客服人员对相应客户提供针对性营销、服务。
数据仓库与其他生产管理系统之间的关系见图1。
数据仓库的需求设计电信企业数据仓库项目的成功与否，很大程度上依赖于它的需求设计，数据仓库是应用导向的系统，它立足于商业应用，而非单纯的技术。
所以应该强调的是，数据仓库不应该简单的从软、硬件设备、分析工具出发，而应该在科学、有效设计其功能的基础上，根据企业现有条件，配置软、硬件设备、分析工具甚至数据挖掘工具，开发各类应用。
数据仓库的需求设计立足于企业的数据分析需求，围绕市场经营管理、营销决策和执行的数据分析支撑工作来展开。
需求设计主要完成三方面工作；一是分析主题的设计；二是分析维度和维度值的确定；三是分析指标的确定。
现代电信企业数据仓库系统建设
电信企业数据仓库建设的需求
电信行业目前主要的数据来自于计费系统和网管数据。
电信系统经过多年的运行，已经存储了大量的历史数据。
这些数据中蕴涵着丰富的信息，从中可以了解企业在电信市场经营过程中所处的态势、竞争对手的经营形势、客户群的分布状况、消费特征、企业经营发展的趋势等，对其进行分析处理可以得到很多令人欣喜的结论。
强大的数据处理能力，加上丰富的企业数据，可以有力地促进企业经营和竞争。
目前，企业信息化建设呈现出“数据集中化、业务综合化、管理扁平化、决策科学化”的发展趋势。
面对激烈的市场竞争，许多大型企业纷纷实施“以客户为中心，以服务求发展”的经营策略。
如何优化客户关系，增强企业的竞争优势已经成为现代企业关注的焦点。
现有的应用系统往往以“产品”为中心，以“单据（票证）”处理为基础，是面向联机事务处理（Online Transaction Processing，简称OLTP）的系统，而以客户为中心的经营管理模式要求对现有业务系统的数据进行有效的集成并加以重组，建立面向联机分析处理（Online Analysis Processing，简称OLAP）的系统。
通过分析客户的行为，掌握不同类型客户的特征，进而为客户提供更加优质的服务，尤其是个性化的服务，同时全面掌握并理解、分析企业业务的发生情况，充分发挥企业现已积累的数据，为各级管理人员提供科学化管理和决策的有力依据，以提高企业的经营业绩，保证利润的持续增长。
面对纷繁复杂的市场竞争，众多企业立足于多年积累的数据和自身的核心业务，提出了建立企业级数据仓库的规划和实施方案，为企业的进一步发展奠定基础。
企业数据仓库系统的总体结构
一个典型的企业数据仓库系统通常包含数据源、数据存储与管理、OLAP服务器以及前端工具与应用四个部分
从系统结构看，电信行业数据仓库解决方案系统一般包括应用系统部分、中央数据仓库系统部分，数据源系统部分三大部分。
如图所示：
电信行业数据仓库解决方案数据源主要来自电信各业务系统，包括计费系统、营业系统、客服系统、财务系统、结算系统、网管系统、112系统、114系统、电信网络资源管理系统以及其它系统，此外数据源还有来自电信系统外的数据，如人口统计、社会各企业的财务数据、银行数据等。
电信企业数据仓库系统体系结构
数据源：企业在经营分析与决策支持系统的建设时，必须将遗留系统(Legacy System)进行高效全面的集成。
由于遗留系统是在企业发展的不同时期建设的，往往缺乏全局规划，所以拥有不同的操作系统、不同的数据库、不同的网络通信机制等，形成了所谓的信息孤岛。
系统中采用异种数据源企业应用集成接口，来实现对异种数据源的透明访问，包括数据源元数据访问及业务操作数据访问。
数据源分为在线数据源和离线数据源，在线数据源是指允许在线抽取的业务数据源，如营业数据；离线数据源是指不允许直接在线抽取的数据源，如计费样单数据就是采用以脱机文件数据格式，及FTP方式集成进系统。
对数据源实现元数据级的管理，数据源的连接类型(ODBC、OLEDB、JDBC、Native)、连接字符串，以及数据结构信息都以元数据的形式存储于元数据库中，通过控制台对其进行业务语义定义，使用户对整个企业的信息系统有了全面的掌握。
ODS层的设计：操作数据存储ODS(Operation Data Storage)是一个集成了来自不同数据库数据的环境。
其目的是为终端用户提供一致的企业数据集成视图。
它可以帮助用户轻松应对跨多个商业功能的操作挑战，是面向主题的、集成的、近实时的数据存储。
设计ODS层的目的在于改善了对关键操作数据库的存取，用户能获得收益、客户等主题的企业级完整视图，有利于更好地通观全局。
设计ODS的核心是实现焦点主题全局试图应用，如企业的客户管理系统，可以建立以客户为中心的ODS客户主题视图，向上层提供高效的服务。
而对于话费结算则采取了从综合结算系统中直接抽取到数据仓库的方式，抽取周期为结算周期，能完全满足决策分析的时间窗要求。
ETL过程的设计：数据抽取、转换和加载，是数据仓库实现过程中，数据由数据源系统向数据仓库加载的主要方法，整个数据处理过程如下：
数据抽取从数据源系统抽取数据仓库系统所需的数据，数据抽取采用统一的接口，可以从数据库抽取数据，也可以从文件抽取。
数据转换数据转换是指对抽取的源数据根据数据仓库系统模型的要求，进行数据的转换、清洗、拆分、汇总等，保证来自不同系统、不同格式的数据和信息模型具有一致性和完整性，并按要求装入数据仓库。
数据加载数据加载是将转换后的数据加载到数据仓库中，可以采用数据加载工具，也可以采用API编程进行数据加载。
数据加载策略包括加载周期和数据追加策略，对于电信企业级应用，采用对ETL工具DataStage进行功能封装，向上提供监控与调度接口的方式。
数据加载周期要综合考虑经营分析需求和系统加载的代价，对不同业务系统的数据采用不同的加载周期，但必须保持同一时间业务数据的完整性和一致性。
仓库模型设计：由于经营分析需求的不断变化，数据仓库中数据的存储必须采用主题分域的方式，及尽可能小的业务单元进行数据的组织和存储，以满足数据仓库的灵活性。
此外，任何一个信息系统都具有整体性、结构性、层次性、相对性、可变性，数据仓库的目标逻辑结构的设计要体现这些特征。
例如，某电信运营商的业务可以按照不同的主题域分为八类：客户、账务、资源、服务、客服、营销、服务使用、结算。
客户主题包含与客户相关的基本信息，如客户的自然属性(姓名、年龄、职业等)、分类信息(现有客户、潜在客户、大客户等)、重要属性信息(信用度、忠诚度、消费层次等)。
账务主题中包含了与客户相关的费用信息，如明细账单、综合账单、账本、账户、付费记录、销账流水等；资源主题中包含网络资源和服务资源信息及占用情况；服务主题包含产品、套餐、资费与优惠规则等的信息；客服主题包含与客户服务相关的部门信息、流程信息、分类信息等；营销主题包含销售机会、营销渠道、促销活动等相关信息；服务使用主题描述客户购买和使用电信服务产品的信息，包括用户、服务使用记录、清单等；结算主题包含结算清单、结算明细账单、合作服务方等信息。
对于主题的建模采用星型结构，以事实表或概要表加相关维表构成。
元数据管理：元数据(Metadata)是关于数据、操纵数据的进程，以及应用程序的结构、意义的描述信息，其主要目标是提供数据资源的全面指南。
元数据是描述数据仓库内数据结构和建立方法的数据，可将其按用途分为两类：技术元数据(Technical Metadata)、业务元数据(Business Metadata)和内联映射元数据(Inter-Mapping Metadata)。
技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库的数据，主要包括数据仓库结构的描述(各个主题的定义，星型模式或雪花型模式的描述定义等)、ODS层的企业数据模型描述(以描述关系表及其关联关系为形式)、对数据稽核规则的定义、数据集市定义描述与装载描述(包括Cube 的维度、层次、度量以及相应事实表、概要表的抽取规则)。
另外，安全认证数
据也作为元数据的一个重要部分进行管理。
业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够理解数据仓库中的数据。
业务元数据包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据来源；系统所提供的分析方法及公式、报表信息。
内联映射元数据(Inter-Mapping Metadata)实现技术元数据与业务元数据的层间映射，使得信息系统的概念模型与物理模型相互独立，使企业的概念、业务模型重组，以及物理模型的变化相互透明。
内联映射元数据从技术上为业务需求驱动、企业数据驱动的双驱动建设模型提供了重要保证,使信息系统的建设具有更高的灵活性与适应性。
专题数据挖掘：电信企业在长期信息化建设过程中积累了大量业务运营数据和业务管理数据，一般的企业数据量已超过TB级。
市场的激烈竞争和管理的复杂性，决定了企业需要对客户关系、市场营销、产品工程、投资分析等方面的历史数据进行提取与分析，将数据转化为有用的信息。
数据挖掘一般用于在海量数据集中发现间接、隐藏、新颖的规律，数据挖掘技术的优势在于，通过对数据集进行有限步骤的采集、整理、分析、推理、比较等分析手段，来揭露埋藏数据内部的有用信息。
以电信经营数据分类与预测分析数据挖掘专题为例，分类包括客户分类、网元分类等；预测包括客户发展分析与预测、业务量发展分析与预测、客户流失分析与预测、营销管理与销售机会分析与预测、市场竞争分析与预测、大客户分析与预测等。
采用回归分析业务量进行预测，以2003年7月1日到29日的通话次数历史数据，预测2003年7月30日的通话次数，结果为：2003年7月30日的预测通话次数为31715.84323，2003年7月30日的实际通话次数为30926；取得了较好的预测准确率。
大型企业的数据仓库系统建设是一项复杂的系统工程，通过上述实例中的实施，用户形成了一套有自己特色的，涵盖企业客户、产品、账务等主题的数据模型，建立了企业级的数据仓库，并进行数据模型和数据仓库的运行验证，产生报表的速度、质量、数据分析结论都基本上达到数据仓库应有的效能，为企业的经营分析与决策提供了科学的依据。
