主数据管理和实施
简介：企业主数据是用来描述企业核心业务实体的数据，比如客户、合作伙伴、员工、产品、物料单、账户等；它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。本文将针对主数据管理的概念以及主数据管理解决方案的实施等方面跟大家作一个探讨。
前言
企业主数据是用来描述企业核心业务实体的数据，比如客户、合作伙伴、员工、产品、物料单、账户等；它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。本文将针对主数据管理的概念以及主数据管理解决方案的实施等方面跟大家作一个探讨。
主数据和主数据管理的概念
企业主数据可以包括很多方面，除了常见的客户主数据之外，不同行业的客户还可能拥有其他各种类型的主数据，例如：对于电信行业客户而言，电信运营商提供的各种服务可以形成其产品主数据；对于航空业客户而言，航线、航班是其企业主数据的一种。对于某一个企业的不同业务部门，其主数据也不同，例如市场销售部门关心客户信息，产品研发部门关心产品编号、产品分类等产品信息，人事部门关心员工机构，部门层次关系等信息。
数据管理的范畴和主数据管理的概念
图 1. 数据管理的范畴
如图所示，企业数据管理的内容及范畴通常包括交易数据、主数据以及元数据。
?交易数据：用于纪录业务事件，如客户的订单，投诉记录，客服申请等，它往往用于描述在某一个时间点上业务系统发生的行为。
?主数据：主数据则定义企业核心业务对象，如客户、产品、地址等，与交易流水信息不同，主数据一旦被记录到数据库中，需要经常对其进行维护，从而确保其时效性和准确性；
主数据还包括关系数据，用以描述主数据之间的关系，如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。
?元数据：即关于数据的数据，用以描述数据类型、数据定义、约束、数据关系、数据
所处的系统等信息。
主数据管理是指一整套的用于生成和维护企业主数据的规范、技术和方案，以保证主数据的完整性、一致性和准确性( “ The set of disciplines, technologies, and solutions used to create and maintain consistent, complete, contextual and accurate business data for all stakeholders (users, applications, data warehouses, processes, companies, trading partners, customers, etc.) across and beyond the enterprise ”) 。主数据管理的典型应用有Customer Data Integration —客户数据管理和Product Information Integraiton —产品数据管理。
图 2. 主数据管理的信息流
一般来说，主数据管理系统从IT 建设的角度而言都会是一个相对复杂的系统，它往往会和企业数据仓库/ 决策支持系统以及企业内的各个业务系统发生关系，技术实现上也会涉及到ETL、EAI、EII 等多个方面，如图2 所示，一个典型的主数据管理的信息流为：
1某个业务系统触发对企业主数据的改动；
1主数据管理系统将整合之后完整、准确的主数据分发给所有有关的应用系统；
1主数据管理系统为决策支持和数据仓库系统提供准确的数据源。
因此对于主数据管理系统的建设，要从建设初期就考虑整体的平台框架和技术实现。
以客户主数据为例，常见的主数据域包括：
?Party：参与方。参与方包含的范围是所有与企业发生了或者发生过正式业务关系的任何合法的实体，比如填写了投保单的参与方。Party 是分类别的，可以是个人、机构和团体。对于Party 来说，因为开展业务的需要，可能要对他们进行分级、分类，比如VIP，黑名单等。个人包括个人基本属性、个人名称、职业、性别、教育等自然属性；机构是指在法律上有登记的组织实体，可以分为政府机构、商业机构、非盈利机构等类别；团体可以有多种形态，比如他们可以是家庭、兴趣小组、某个大机构中的一部分，或者通过某种数据分析技术得出的客户细分群体。
?Party Role：参与方在业务中扮演的角色。例如，对于保险行业而言，可以有：投保人，被保人，受益人，担保人，报案人，核保人，查勘员，核赔人等。
?Relationship：Party 与Party 之间的关系, 例如可以是：夫妻关系、父子关系、母女关系、兄弟姐妹关系、总( 母) 公司分( 子) 公司关系、企业事业单位隶属、上下级
关系等。
?Account：帐户是客户使用企业服务的付费实体。
?Location：Location 记录的是每个Party 可能拥有的所有联系地址，地址的类别包括邮寄地址、email 地址、电信联络地址等。
?Contract：Party 与企业之间的契约。
主数据有几个鲜明的特点，其中包括：它是准确的、集成的，其次它是跨业务部门的，再有就是它是在各个业务部门被重复使用的。
主数据管理的意义
图 3. 主数据管理的要素
如图 3 所示：集成、共享、数据质量、数据治理是主数据管理的四大要素，主数据管理要做的就是从企业的多个业务系统中整合最核心的、最需要共享的数据（主数据），集中进行数据的清洗和丰富，并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给全企业范围内需要使用这些数据的操作型应用和分析型应用，包括各个业务系统、业务流程和决策支持系统等。
主数据管理使得企业能够集中化管理数据，在分散的系统间保证主数据的一致性，改进数据合规性、快速部署新应用、充分了解客户、加速推出新产品的速度。从IT 建设的角度，主数据管理可以增强IT 结构的灵活性，构建覆盖整个企业范围内的数据管理基础和相应规范，并且更灵活地适应企业业务需求的变化。
以客户主数据为例，客户主数据是目前企业级客户普遍面临的一个问题，在大多数企业中，客户信息通常分散于CRM 等各个业务系统中，而每个业务系统中都只有客户信息的片断，即不完整的客户信息，但却缺乏企业级的完整、统一的单一客户视图，结果导致企业不能完全了解客户，无法协调统一的市场行为，导致客户满意度下降，市场份额减少。因此，建立客户主数据系统的目的在于：
?整合并存储所有业务系统和渠道的客户及潜在客户的信息：一方面从相关系统中抽取客户信息，并完成客户信息的清洗和整合工作，建立企业级的客户统一视图；另一方面，客户
主数据管理系统将形成的统一客户信息以广播的形式同步到其他各个系统，从而确保客户信息的一致；
?为相关的应用系统提供联机交易支持，提供客户信息的唯一访问入口点，为所有应用系统提供及时和全面的客户信息；服务于OCRM 系统，充分利用数据的价值，在所有客户接触点上提供更多具有附加价值的服务；
?实现SOA 的体系结构：建立客户主数据系统之前，数据被锁定在每一个应用系统和流程中，建立主数据管理系统之后，数据从应用系统中被释放出来，并且被处理成为一组可重用的服务，被各个应用系统调用。
主数据管理系统与数据仓库系统的关系
主数据管理系统与数据仓库系统是相辅相成的两个系统，但二者绝不是重复的，也不是互斥的。它们有很多共同之处：
?首先二者对企业都具有相同的价值，可以减少数据冗余和不一致性、提升对数据的洞察力，二者都是跨部门的集中式系统；
?其次二者都依赖很多相同的技术手段，都会涉及到ETL 技术、都需要元数据管理、都强调数据质量；
?第三就是二者建设手段类似，都需要数据治理的规范作为指导、都需要不同系统、不同部门的协作、需要统一的安全策略。
但是，主数据管理系统和数据仓库/ 决策支持系统二者之间也存在很多不同：
?处理类型不同：主数据管理(MDM) 系统是偏交易型的系统，它为各个业务系统提供联机交易服务，系统的服务对象是呼叫中心、B2C、CRM 等业务系统；而数据仓库是属于分析型的系统，面向的是分析型的应用，是在大量历史交易数据的基础上进行多维分析，系统的使用对象是各层领导和业务分析、市场销售预测人员等；
?实时性不同：与传统的数据仓库方案的批量ETL 方式不同，主数据管理系统在数据初始加载阶段要使用ETL，但在后续运行中要大量依赖实时整合的方式来进行主数据的集成和同步；
?数据量不同：数据仓库存储的是大量的历史数据和各个维度的汇总数据，可能会是海量的，而MDM 存储的仅仅是客户和产品等信息。
虽然主数据管理系统和数据仓库系统异同共存，但是二者却有着紧密的联系，并且可以互为促进、互为补充。举例而言，数据仓库系统的分析结果可以作为衍生数据输入到MDM 系统，从而使MDM 系统能够更好地为操作型CRM 系统服务。以航空公司为例，客户的主数据模型大致可以分为三部分：
首先包括客户基本信息和偏好信息。
?客户基本信息：
o个人及公司信息
o消费者市场状况
o常旅客会员卡号，状态，及累计里程等
o客户间关系( 个体- 个体，个体- 公司)
o联系地址，包括电话，电子邮件等
?客户偏好信息：
o餐食偏好
o是否吸烟
o座位偏好
o机型偏好
o公务舱位偏好
o旅行舱位偏好
o休息室服务偏好
除了这两部分之外，我们还可以从数据仓库系统中提取相关的信息，作为客户主数据的衍生信息部分，从而更好地、全方位地描述客户特征，这些可以包括：
?衍生信息：
o本月飞行里程
o年度飞行里程（最近12 个月内）
o提前预订倾向
o习惯预订模式
o使用自主服务倾向
o上次预订使用的信用卡号
o累计/ 本月转签/ 取消航班次数
o转签航班倾向
o取消航班倾向
o No Show 倾向等。
主数据管理系统和ODS 的关系
在某些情况下，主数据管理系统和ODS 系统可能容易被混淆，的确，从实时上来看，主数据管理系统和ODS 系统存储的都是实时数据，但是二者存储的数据内容是全然不同的，主数据管理系统中不存储交易数据，比如银行客户的交易流水信息是不应该放在主数据管理系统中进行管理的，这与MDM 与ODS 的一个很大区别。举一个航空公司的例子，比如某个客户在电子商务网站上定了一张机票，产生一个订单，然后他又通过呼叫中心要求改签，这个场景中，两个系统之间要实现客户信息和订单信息的共享，其中客户信息共享通过MDM 系统来实现，而订单信息则需要采用ODS 或其它手段进行共享，我们是不推荐把此类信息交由MDM 系统来管理的。
回页首主数据管理解决方案介绍
目前业界比较常见的主数据管理解决方案主要可以分为三类：
?第一是依托专业套装软件来实现主数据管理，这类方案是作为套装软件的一部分，主要是为套装软件的其它模块提供服务的，因此，通常功能都缺乏完善性。
?还有一类是侧重于分析型应用的主数据管理，这类方案在数据实时同步以及面向交易型应用时通常缺乏整体方案的完整性。
?再有一类就是专注于主数据管理的中立的、完整的解决方案，这一类应用独立于套装软件，不仅具有整体架构的完整性和先进性，从功能上讲往往也最为完善，除了具有比较完整的数据模型(Data Model) 之外，还会提供广泛的集成性，具备先进的机制实现数据同步，并且可以对外提供多种预置的主数据服务被外部交易系统调用，从而使系统具有很强的实时操作性，同时还强调主数据管理、主数据质量控制以及主数据维护的手段和规范性。
企业主数据管理系统逻辑架构
一个完整的主数据管理解决方案的逻辑架构应如下图所示：
图 4. 主数据管理系统逻辑架构
在一个完整的主数据管理解决方案中，除了主数据管理的核心服务组件之外通常还会涉及到企业元数据管理、企业信息集成、ETL、数据分析和数据仓库以及EAI/ESB 等其他各种技术和服务组件。
其中主数据管理服务又包括如下一些主要的服务组件：
?Interface Services：为企业中需要主数据的所有业务系统提供各种服务接口，通过实时的、批量的接口可以读取或者修改主数据，这些接口包括Batch, Web Services, XML Interface, Messaging Interface, Publish/Subscribe, Import/Export Services, Data Standardization Interface, Directory Integration 等。除了这些标准的技术接口之外, 对于某些专有系统还提供适配器(Adapter) 接口, 通过适配器接口可以和一些特有的系统做接口，例如企业中的传统(Legacy) 应用系统或者SAP 等打包应用。
?Lifecycle Management Services: 履行针对主数据的CRUD 操作，执行对主数据存储库中的数据进行更新、存取和管理时的业务逻辑，除此之外，它还负责维护主数据的衍生信息，例如客户之间的关系、客户的偏好、客户在各种客户服务渠道上的行为轨迹等。
Lifecycle Management Services 贯穿整个主数据管理的生命周期，它利用Data Quality Management Services 来确保数据质量、利用Master Data Event Management Services 来捕获各种主数据变化等相关的事件，以及利用Hierarchy and Relationship Management Services 用来维护数据实体之间的关系和层次。
?Data Quality Management Services：确保主数据的质量和标准化，这在主数据管理解决方案中一个非常重要的组件，在我们从各个业务系统获取数据之后，要对数据进行清洗和验证，例如对于地址而言，要弥补地址的缺失、地市的缺失、邮编的缺失、进行地址的标准化等。对于其他数据要进行非空检查、外键检查、数据过滤等。然后要对数据进行匹配/
重复识别、自动进行基于规则的合并/ 去重、交叉验证等，并且还要遵从企业的数据管控规范和流程。它可以是Master Data Management Services 的一个内部组件，也可以调用整个企业的Information Integrity Services 来实现。
?Authoring Services：依据数据管控流程，定义和扩展企业的主数据模型。
?Hierarchy Relationship and Management Services：定义数据实体的层次(Hierarchy), 分组(Grouping), 关系(Relationship), 版本(Version) 等。
?Master Data Event Management Services：捕获事件并且触发相应的操作，包括事件发现、事件管理和通知功能，它在主数据管理系统和业务系统之间进行数据同步时起到至关重要的作用。
?Base Services：提供通用服务，包括安全控制、错误处理、交易日志、事件日志等功能。
?Master Data Repository:主数据存储库，包括Metadata, Master Data, History Data, Reference Data 等。
下面我们介绍两个这些逻辑组件之间的协作场景：
图 5. 场景1-- 初始数据加载
场景1：初始数据加载：
1源数据从外部业务系统及EDW 系统中通过批处理方式拷贝到磁带；
1数据被加载到Staging DB，进行数据质量分析；
1Data Quality Management Services 对数据进行清洗、匹配、标准化等；
1ETL Transform and Load services 对合格数据进行转换并准备好加载数据；
1Master Data Interface Services 接收批处理更新请求，调用Lifecycle Management Update Service 进行数据的批量更新；
1Lifecycle Management Update Service 调用Hierarchy & Relationship Management Services 和Base Services 更新主数据库。
图 6. 场景2-- 主数据库更新，然后同步到各业务系统
场景2：主数据库更新，然后同步到各业务系统
1某业务系统发起一个创建主数据的交易，该业务系统将交易数据以消息的形式发送到消息队列；
1MDM Interface Services 捕获该消息，进行消息解析，并调用Security and Privacy Services 进行权限验证；
1MDM Interface Services 调用Lifecycle Mgmt. Update Service ；
1Lifecycle Mgmt. Update Service 再调用Data Quality Management Services 进行数据的清洗和标准化；
1Update Service 调用Search Services 发现该主数据已经存在，确认这是对已有主数据的更新操作；
1Update Service 通过调用外部系统对数据进行扩充；
1Update Service 在更新主数据库之前调用Event Management Services ；
1Event Management Services 确认是否需要涉及数据管控方面的处理；
1Update Service 调用Hierarchy & Relationship Management Services 并且更新主数
据库；
1Audit Logging Services 纪录相应交易日志和历史数据；
1MDM Lifecycle Management Service 调用MDM Interface Services 返回更新处理请求；
1源业务系统接收到处理请求之后，利用MDM 系统发回来的数据对本地的应用系统数据库进行更新操作；
1其他所有需要主动被更新的相关的业务系统都会接收到更新后的最新数据。
回页首IBM 主数据管理解决方案
IBM 的主数据管理解决方案InfoSphere Master Data Management 是IBM 信息管理大家族的一员。
图7. IBM InfoSphere MDM Server 产品构成
如上图所示，IBM MDM Server 包含：
?Knowledge(知识层)：知识层包括当事方( 人员和组织)、角色、地址位置、当事人属性（统计学信息）、关系、财务简档、多渠道集成、协议和产品、事件等。
Action（交互层）：MDM Server 本身就是按照SOA 的体系结构设计的，它提供700 多个开箱既有的服务接口，这些服务可划分为多个主题范围，如下图所示：
图8. MDM Server Business Services
其中主要包括：
o当事方人口统计学服务：
o角色：一个当事方可以扮演一个或多个角色，如帐户方角色服务用于管理当
事方在一个或多个帐户中扮演的多个角色，折扣或索赔方角色服务用于维护当
事方在一个或多个折扣或索赔中扮演的角色的信息。
o关系服务：维护当事方对当事方关系，当事方对当事方关系不仅可以存在于
两个独立的当事方之间( 例如甲方和乙方是配偶)，也可以存在于双方在某个
帐户中扮演的角色范围之内( 例如甲方是乙方遗嘱的执行人) 。
o位置服务：维护关于位置的数据，如地址和联系方式。
o客户服务和销售服务：包含管理多渠道集成所需要的客户服务与销售信息的
综合业务服务。例如：隐私服务用于维护数据管理与请求的默认隐私偏好以及
客户声明的隐私偏好；偏好服务用于管理复杂的客户服务偏好( 比如，特定联
系方法和特定产品的联系偏好) 。
o协议和产品服务：帐户或合同服务用于维护某个帐户或合同的详细信息，这
里合同定义为一个或多个当事方与公司的合法协议。
o数据维护服务：MDM Server 提供重复嫌疑管理服务, 进行当事方记录的
合并等。
o当事方财务简档：比如收入来源信息、财务帐户信息等。
o当事方识别服务：为每个客户记录创建一个唯一客户ID，并且维护对其它
系统的交叉引用。
o历史纪录和审核服务：包含检索对象的历史审核数据的服务。
?Integrity(完整性层)：完整性服务用于管理数据质量和维护客户数据的单一版本，包括疑似处理、重复处理、数据检查、标准化等。
?Intellegence(智能层)：包括事件管理、业务处理规则、数据安全性。
?Data Governance(数据管控层)：管理数据实体间的关系(Relationship), 分组(Group), 层次(Hierarchy)，以及数据生命周期等。
?Service Inteface(接口层)：MDM Server 支持多个实时和批处理接口，其中实时接口包括XML 接口、Web Services 接口、消息接口、Java 对象接口、COBOL 和CICS 接口等。此外，还支持用户自定义接口。
使用IBM 全套解决方案的主数据管理案例
以下是一个使用全套IBM 软件解决方案的案例，这是一个典型的客户主数据管理的应用场景，其中使用的产品包括：WebSphere Portal Server，WebSphere MDM Server，WebSphere Enterprise Services Bus, WebSphere QualityStage, DB2 等。
图9. 主数据管理应用案例
图9 描述了一个主数据管理应用的端到端流程：
1业务系统通过自己的用户界面创建一个新的用户，并且把数据写入了其应用系统数据库
中；
1该业务系统向MQ 发送一条XML 消息；消息中包含了客户基本信息和策略信息；
1MDM Server 接收到该MQ 消息，对此消息进行处理；
1MDM Server 通过与QualityStage 的接口调用WebSphere QualityStage 的服务，进行客户姓名和联系方式的清洗和标准化；
1WebSphere QualityStage 对客户姓名和联系方式的清洗和标准化；
1WebSphere QualityStage 返回标准化了的客户数据；
1MDM Server 接收到标准化了的客户姓名和地址，查询主数据库获取候选姓名，调用QualityStage 的疑似匹配服务；
1QualityStage 进行疑似处理；
1QualityStage 将打分结果返回给MDM Server，结果表明这是一个新客户；
1MDM Server 向某外部系统发出Web Services 请求，进行数据扩充；
1外部系统将结果返回MDM Server ；
1MDM Server 分配一个唯一的PartyID，并且将客户主数据写入MDM Server DB ；
1根据客户Profile，MDM Server 发现该客户是新推出的一项新业务的目标客户；
1MDM Server 向MQ 产生一条XML/JMS 消息；
1WebSphere ESB 接收到XML 消息并且将其转换为市场促销系统所需要的消息格式；
1市场促销系统接收到该消息，进行相应的业务处理；
1MDM Server 产生XML 交易响应信息给源业务系统；
1源业务系统接收到响应信息，对其应用系统数据库进行更新；
1MDM Server 又产生一个关于该新增客户的完整信息，并且发送到MQ，利用MQ 的Pub/Sub 机制将数据通知到各个相关的业务系统；
1各个业务系统接收到新增的客户信息，并且更新自身的应用系统数据库。
回页首客户主数据系统实施方法论
客户主数据项目的本质是一个系统间针对客户信息的整合项目，根据以往的经验，大致分成基础实施、双向同步、多渠道访问、全企业采用等 4 个阶段，如下图所示：
图10. 主数据系统实施步骤
基础实施阶段:
?安装MDM，实现ECIF 的基础架构
?完成主数据建模
?MDM 初始数据加载：根据期望的实施方法和策略，将数据从各个业务系统中抽取出来，经过清洗、转换、标准化之后加载到主数据存储库中，在这个阶段主要用到的是ETL 的相关技术和工具。
?使MDM 的700 多个业务服务能被其他系统实时连接和使用。
基础实施阶段为客户数据集成搭建了基础框架，为企业提供了转向以客户为中心的能力和价值。后续的阶段主要是在此基础上推动全企业更多的应用和系统来使用这些价值，带来更多的业务增长。所以第一阶段的基础实施对企业来说是至关重要的，也是客户主数据管理项目能否带来业务价值的关键。
双向同步阶段:
?通过实时或批处理方式，帮助逐步实现业务系统和MDM 系统的双向数据更新和同步。
这个阶段阶段主要用到的是EAI/SOA 的相关技术和工具
?多渠道访问阶段
?整合WCC 与已有的渠道或新的前台系统，实现多渠道访问。
?添加新的客户数据属性和客户为中心的业务流程。
全企业采用阶段:
?MDM 成为企业唯一的记录客户信息的来源，促进对客户的洞察力和了解。
?促进全企业整合，支持端到端的业务流程。
回页首小结
本文首先系统地介绍了主数据管理的概念，主数据管理系统和数据仓库、ODS（操作型数据存储）之间的区别，并且结合航空公司的需求，给出了航空业客户主数据的简单模型；在理解了主数据管理的基本概念之后，给出了主数据管理解决方案的逻辑框架以及IBM 的主数据管理解决方案；最后跟大家分享了主数据管理项目实施的路径和方法。
参考资料
学习
?Information Management 专区：在这里可以学到更多关于Information Management 的知识。
还可以找到技术文档、how-to 文章、培训、下载、产品信息等。
?如需了解有关IBM Master Data Management 和IBM InfoSphere Master Data Management Server 的更多信息请访问InfoSphere 产品专题或者访问InfoSphere Master Data Management Server 产品网站
?通过IBM InfoSphere Master Data Management Server 商业价值概述，了解MDM 商业价值的详细信息。
?通过IBM InfoSphere Master Data Management Server 技术概述，了解MDM 技术特性等详细信息。
?通过MDM for Operations and Analytics，了解MDM Operations 和Analytics 的详细信息。
?通过Justifying and Implementing Master Data Management，了解MDM Justifying 和Implementing 的详细信息。
?通过Master Data Management and Customer Data Integration，了解主数据和客户数据集成的详细信息。
?通过MDM Server 信息中心，了解MDM 的详细信息。
?通过IBM 红皮书：Rapid Deployment Package for MDM，了解MDM 快速部署的详细信息。
?随时关注developerWorks 技术活动和网络广播。
?技术书店：浏览关于这些主题和其他技术主题的图书。
获得产品和技术
?用可直接从developerWorks 下载的IBM 试用软件构建您的下一个开发项目。
讨论
参与developerWorks blogs并加入developerWorks 社区。
关于作者
娄丽军，IBM 公司软件架构师，1998年加入IBM 公司软件部，多年来一直从事IBM 通讯及业务整合中间件( WebSphere Business Integration 家族)产品的技术支持工作，是软件部从事该领域技术支持时间最长的工程师之一，拥有WebSphere Business Integration 相关的产品经验，这些产品包括WebSphere MQ 家族的所有产品：MQSeries，MQ Integrator，MQ Workflow 以及CrossWorlds 等，并具有很多大型项目的支持经验，曾参与国家税务总局，人民银行清算系统、华夏银行电子联行系统、中国联通计费系统、海关与国家税务总局互连系统，以及公安部、铁道部、中信实业银行、电信等重要客户的有关项目的技术支持。
个人工作业务总结
本人于2009年7月进入新疆中正鑫磊地矿技术服务有限公司(前身为“西安中正矿业信息咨询有限公司”)，主要从事测量技术工作，至今已有三年。
在这宝贵的三年时间里，我边工作、边学习测绘相专业书籍，遇到不懂得问题积极的请教工程师们，在他们耐心的教授和指导下，我的专业知识水平得到了很到的提高，并在实地测量工作中加以运用、总结，不断的提高自己的专业技术水平。同时积极的参与技术培训学习，加速自身知识的不断更新和自身素质的提高。努力使自己成为一名合格的测绘技术人员。
在这三年中，在公司各领导及同事的帮助带领下，按照岗位职责要求和行为规范，努力做好本职工作，认真完成了领导所交给的各项工作，在思想觉悟及工作能力方面有了很大的提高。
在思想上积极向上，能够认真贯彻党的基本方针政策，积极学习政治理论，坚持四项基本原则，遵纪守法，爱岗敬业，具有强烈的责任感和事业心。积极主动学习专业知识，工作态度端正，认真负责，具有良好的思想政治素质、思想品质和职业道德。
在工作态度方面，勤奋敬业，热爱本职工作，能够正确认真的对待每一项工作，能够主动寻找自己的不足并及时学习补充，始终保持严谨认真的工作态度和一丝不苟的工作作风。
在公司领导的关怀以及同事们的支持和帮助下，我迅速的完成了职业角色的转变。
一、回顾这四年来的职业生涯，我主要做了以下工作：
1、参与了新疆库车县新疆库车县胡同布拉克石灰岩矿的野外测绘和放线工作、点之记的编写工作、1:2000地形地质图修测、1:1000勘探剖面测量、测绘内业资料的编写工作，提交成果《新疆库车县胡同布拉克石灰岩矿普查报告》已通过评审。
2、参与了库车县城北水厂建设项目用地压覆矿产资源评估项目的室内地质资料编写工作，提交成果为《库车县城北水厂建设项目用地压覆矿产资源评估报告》，现已通过评审。
3、参与了《新疆库车县巴西克其克盐矿普查》项目的野外地质勘查工作，参与项目包括：1:2000地质测图、1:1000勘查线剖面测量、测绘内业资料的编写工作；最终提交的《新疆库车县康村盐矿普查报告》已通过评审。
4、参与了新疆哈密市南坡子泉金矿2009年度矿山储量监测工作，项目包括：野外地质测量与室内地质资料的编写，提交成果为《新疆哈密市南坡子泉金矿2009年度矿山储量年报》，现已通过评审。
6、参与了《新疆博乐市五台石灰岩矿9号矿区勘探》项目的野外地质勘查工作，项目包括：1:2000地质测图、1:1000勘探剖面测量、测绘内业资料的编写工作，并绘制相应图件。
7、参与了《新疆博乐市托特克斜花岗岩矿详查报告》项目的野外地质勘查工作，项目包括：1:2000地质测图、1:1000勘探剖面测量、测绘内业资料的编写工作，并绘制相应图件。
通过以上的这些工作，我学习并具备了以下工作能力：
1、通过实习，对测绘这门学科的研究内容及实际意义有了系统的认识。加深对测量学基本理论的理解，能够用有关理论指导作业实践，做到理论与实践相统一，提高分析问题、解决问题的能力，从而对测量学的基本内容得到一次实际应用，使所学知识进一步巩固、深化。
2、熟悉了三、四等控制测量的作业程序及施测方法，并掌握了全站仪、静态GPS、RTK等测量仪器的工作原理和操作方法。
3、掌握了GPS控制测量内业解算软件（南方测绘Gps数据处理）以及内业成图软件（南方cass）的操作应用。能够将外业测量的数据导入软件进行地形图成图和处理。
4、在项目技术负责的指导下熟悉了测量技术总结的编写要求和方法，并参与了部分项目测量技术总结章节的编写工作。
5、在项目负责的领导下参与整个测量项目的组织运作，对项目的实施过程有了深刻理解。通过在项目组的实习锻炼了自己的组织协调能力，为以后的工作打下了坚实基础。
二、工作中尚存在的问题
从事测绘工作以来，深深感受到工作的繁忙、责任的重大，也因此没能全方位地进行系统地学习实践，主要表现为没有足够的经验，对于地形复杂的地段理解不够深刻；理论知识掌握不够系统，实践能力尚为有限。以上问题，在今后工作中自己将努力做到更好。
三、今后的工作打算
通过总结四年来的工作，我无论从工作技术上，还是从世界观、人生观、价值观等各个方面，都有了很大的提高。今后，我会在此基础上，刻苦钻研，再接再厉，使自己在业务知识水平更上一层楼，为测绘事业的发展，贡献自己的力量。
中国联通供应商主数据管理办法（试行） 第一章总则 第一条为逐步形成中国联通完善的供应链管理体系，为企业运营和各业务发展提供唯一、准确的供应商基础数据，实现中国联通供应商基础数据的单点录入、全局共享，依据中国联通采购管理办法、中国联通IT规划等相关制度，制定本办法。 第二条本办法所称供应商，是指直接向中国联通提供物资和服务的企业及其分支机构、事业单位和个人。个人包括个体工商户和其他自然人。 第三条本办法所称供应商主数据，是指在整个企业范围内各个信息系统需要共享的，长期稳定存在的，描述供应商自然属性的相关数据。 第四条中国联通供应商主数据管理的原则：一级平台、两级管理、三级操作。 第二章供应商主数据管理范围 第五条中国联通供应商主数据按照企业供应商和个人供应商分别管理。对于费用较低的零星购臵或一次性供应商，根据成本优先的原则不对其数据进行管理，仅作为企业
供应商的特殊类型（杂项供应商）予以归一化管理。 第六条供应商信息主要包括基本信息、业务地点信息、联系人信息、采购信息和财务信息等五类信息。供应商基本信息是供应商的自然属性，由供应商主数据系统管理。 第七条供应商的其它业务属性，由各业务属性的归口部门负责，通过各专业应用系统创建和维护。供应商的业务地点信息和财务信息由财务部门归口负责，在ERP系统中维护；联系人信息和采购信息由采购管理部门归口负责，在采购管理系统中维护。 第三章供应商主数据管理职责 第八条中国联通建立全集团统一的供应商主数据管理平台，建立全集团集中的维护工作组，统一负责供应商编码、数据质量、数据安全等管理和日常维护工作。 第九条中国联通总部和省两级采购管理部门是中国联通供应商主数据的业务管理部门，负责制定供应商主数据管理制度、规范、编码规则和操作手册，负责指导下级公司的供应商主数据业务操作工作。供应商编码标准见附件1。 第十条中国联通总部、省、市三级采购管理部门是中国联通供应商主数据的业务操作部门，负责受理各级供应商主数据创建的申请、审核、创建、维护和分发等工作。各级采购管理部门的操作权限如下：
主数据管理详解 主数据是指在整个企业范围内各个系统 (操作 /事务型应用系统以及分析型系统 )间要共享的 数据， 比如，可以是与客户 (customers),供应商(suppliers),帐户(accounts)以及组织单位(or ganizational units) 相关的数据。主数据通常需要在整个企业范围内保持一致性 完整性 (complete) 、可控性 (controlled) ，为了达成这一目标， 就需要进行主数据管理 (Master Data Management ，MDM) 。 什么是主数据管理 (Master Data Management ， MDM) 主数据是指在整个企业范围内各个系统 (操作 /事务型应用系统以及分析型系统 )间要共 享的数据， 比如，可以是与客户(customers),供应商(suppliers),帐户(accounts)以及组织单 位 (organizational units) 相关的数据。主数据通常需要在整个企业范围内保持一致性 nt) 、完整性 (complete) 、可控性 (controlled) ，为了达成这一目标，就需要进行主数据管理 (M aster Data Management ， MDM) 。需要注意的是，主数据不是企业内所有的业务数据，只 (consistent) 、 (consiste
是有必要在各个系统间共享的数据才是主数据，比如大部分的交易数据、帐单数据等都不是 主数据，而像描述核心业务实体的数据，而像客户、供应商、帐户、组织单位、员工、合作 伙伴、位置信息等都是主数据。主数据是企业内能够跨业务重复使用的高价值的数据。这些 主数据在进行主数据管理之前经常存在于多个异构或同构的系统中。 主数据管理(Master Data Management ，MDM) 是指一组约束和方法用来保证一个企业 内主题域和系统内相关数据和跨主题域和系统的相关数据的实时性、含义和质量。这是从深 层次来说来说明主动主数据管理(MDM) 的深度和复杂性，简单的说，主数据管理(MDM) 保证 你的系统协调和重用通用、正确的业务数据(主数据)。通常，我们会把主数据管理作为应用 流程的补充，通过从各个操作/ 事务型应用以及分析型应用中分离出主要的信息，使其成为 一个集中的、独立于企业中各种其他应用核心资源，从而使得企业的核心信息得以重用并确 保各个操作/ 事务型应用以及分析型应用间的核心数据的一致性。通过主数据管理，改变企 业数据利用的现状，从而更好地为企业信息集成做好铺垫。 主数据管理(MDM) 可以帮助我们创建并维护整个企业内主数据的单一视图(Si ngle View)，保证单一视图的准确性、一致性以及完整性，从而提供数据质量，统一商业实体的定义，简化
大数据平台建设方案 （项目需求与技术方案） 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发
展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。
集团主数据管理解决方案 1. 基本概念 主数据：是用来描述企业核心业务实体的数据，例如客户、供应商、物 料、产品、员工、组织等。主数据是具有高业务价值的，应在企业内跨越各个业务部 门被重复使用的数据，并且存在于多个异构的应用系统中。 主数据管理：包含一整套用于生成和维护主数据的规范、技术，完整的 平台包括元数据管理，信息系统集成、ETL技术、数据仓库/分析、ESB 等组件和技 术。 ESB （企业服务总线）：将不同系统的业务抽象成事件或服务，以 基于消息内容的形式，通过协议转换、消息过滤、事件路由，对多个系统不同 的事件进行整合。 2. 需求概述 为满足集团业务发展，提高集团信息化管理水平，为核心业务系统搭建基础的主数据管理平台，有效解决异构系统间的主数据唯一性、一致性和共享性问题。 3. 现状描述 现目前公司的核心业务主数据存储于多套不同的业务系统中，包括AJX、HR、 金蝶财务等等，导致的问题主要有以下几个方面： 1）没有规范的管理要求：导致不同系统使用时达不到管理要求，甚至重复 管理同一数据（组织，客户、人员等）； 2）没有标准的规则定义：主数据到了不同的系统可能就变了名字或编码,
直接导致不同业务系统的数据无法共享； 3）没有统一的共享平台：系统与系统间建立点对点的连接，当系统增多的时候，这样的关系结构会更加混乱，如下图: 以上3点，直接影响新建信息系统时，没有统一的接口标准可以调用主数据，而新系统要么手工维护多个系统相同的数据，要么单独为每套系统开发接口去适配 4. 解决方案 4.1.实现思路 基于现状分析，可通过搭建主数据仓库，利用ESB平台建立各业务系统间 的连接，实现主数据的CRUD管理。
高效数据存储技术和管理策略思考 1) 快照 SNIA（存储网络行业协会）对快照（Snapshot）的定义是:关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点（拷贝开始的时间点）的映像。快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。 快照的作用主要是能够进行在线数据备份与恢复; 快照有主要有两种技术， 一种是第一次写时复制(Copy OnFirst Write,COFW)，有时简称为写时复制（CopyOn Write,COW）。即在数据第一次写入到某个存储位置时，首先将原有的内容读取出来，写到另一位置处（为快照保留的存储空间，此文中我们称为快照空间），然后再将数据写入到存储设备中。而下次针对这一位置的写操作将不再执行写时复制操作。
另一种技术是 I/O 重定向（I/O Redirect）。即将读写操作重新定向到另一个存储空间中。在一个快照生成期间，所有的写操作将被重定向到另一个介质，而读操作是否需要读重定向，则需要根据读取的位置是否有过自上次快照以来的写重定向，必须对有过写重定向的位置进行读重定向，否则不需要进行读定向。当要创建一个快照时，则将自上次快照以来所有的重定向写数据所对应在源介质中的数据复制出来生成这个时间点的快照，然后再将这些重定向写数据写回到源介质中的相应位置上，从而完成一个快照生成过程。 我们所开发的vbs-target 是基于数据重定向机制实现的。 2) LUN拷贝 就是将源LUN的数据拷贝到目标LUN。
LUN拷贝支持全量和增量2种类型的数据拷贝。1,全量拷贝: 2,增量拷贝: 3) 自动精简配置
数据是指在整个企业范围内各个系统(操作/事务型应用系统以及分析型系统)间要共享的数据，比如，可以是与客户(customers), 供应商(suppliers), 帐户(accounts)以及组织单位(organizational units)相关的数据。主数据通常需要在整个企业范围内保持一致性(cons 数据是指在整个企业范围内各个系统(操作/事务型应用系统以及分析型系统)间要共享的数据，比如，可以是与客户(customers), 供应商(suppliers), 帐户(accounts)以及组织单位(organizational units)相关的数据。主数据通常需要在整个企业范围内保持一致性(consistent)、完整性(complete)、可控性(controlled)，为了达成这一目标，就需要进行主数据管理(Master Data Management ，MDM)。 什么是主数据管理(Master Data Management ，MDM) 主数据是指在整个企业范围内各个系统(操作/事务型应用系统以及分析型系统)间要共享的数据，比如，可以是与客户(customers), 供应商(suppliers), 帐户(accounts)以及组织单位(organizational units)相关的数据。主数据通常需要在整个企业范围内保持一致性(consistent)、完整性(complete)、可控性(controlled)，为了达成这一目标，就需要进行主数据管理(Master Data Management ，MDM)。需要注意的是，主数据不是企业内所有的业务数据，只是有必要在各个系统间共享的数据才是主数据，比如大部分的交易数据、帐单数据等都不是主数据，而像描述核心业务实体的数据，而像客户、供应商、帐户、组织单位、员工、合作伙伴、位置信息等都是主数据。主数据是企业内能够跨业务重复使用的高价值的数据。这些主数据在进行主数据管理之前经常存在于多个异构或同构的系统中。 主数据管理(Master Data Management ，MDM)是指一组约束和方法用来保证一个企业内主题域和系统内相关数据和跨主题域和系统的相关数据的实时性、含义和质量。这是从深层次来说来说明主动主数据管理(MDM)的深度和复杂性，简单的说，主数据管理(MDM)保证你的系统协调和重用通用、正确的业务数据(主数据)。通常，我们会把主数据管理作为应用流程的补充，通过从各个操作/事务型应用以及分析型应用中分离出主要的信息，使其成为一个集中的、独立于企业中各种其他应用核心资源，从而使得企业的核心信息得以重用并确保各个操作/事务型应用以及分析型应用间的核心数据的一致性。通过主数据管理，改变企业数据利用的现状，从而更好地为企业信息集成做好铺垫。 主数据管理(MDM)可以帮助我们创建并维护整个企业内主数据的单一视图(Single View)，保证单一视图的准确性、一致性以及完整性，从而提供数据质量，统一商业实体的定义，简化改进商业流程并提供业务的响应速度。从变化的频率来看，主数据和日常交易数据不一样，变化相对缓慢，另外，主数据由于跨各个系统，所以对数据的一致性、实时性以及版本控制要求很高。 主数据管理其实在很早之前就一直存在，只不过现在随着业务发展以及监管的需要，对主数据的实时性、准确性、一致性有了更高的要求，才被业界广泛接受，各个厂商相应的推出了一系列的主数据管理集成与基础套件以及特定领域的解决方案。近年来最明显的变化是，客户在以前的时候经常问的问题是：“主数据管理是什么?”，而现在客户经常问的问题演变成了：“我们的业务的确存在一些问题，主数据管理正好可以解决这个问题，我们怎么开始?”。与以前相比，客户对主数据管理(MDM)的认识有了巨大的进步，并开始尝试用主数据管理(MDM)解决他们在整个企业范围内进行跨业务、跨主题域时遇上的各种挑战和问题：比如税务行业，税务局在按纳税人在一些分析统计时，就发现关于纳税人的基本信息分布在核心征收管理系统、发票管理系统、个
MDM是一个集成的解决方案，管理所有的主数据信息。客户主数据、物料主数据、供应商数据等。 一、使用SAP MDM主数据管理解决方案，可以整合、协调主数据、管理丰富的产品内容， 主数据集中后，就能够对主数据进行有效的管理、同步和分配，并将其发布给公司内外所有相关的用户。 1、整合主数据：使用灵活、可配置的数据模型，您可以从不同的数据源(SAP和非SAP 系统)汇总主数据信息，SAP MDM能够整合来自不同系统的主数据对象。对汇总过来 的主数据信息进行搜索，辨别出相同或相似的对象，并按照需求将之清除、整理， 得到统一、完整而准确的主数据视图，在数据整合后，数据可以被轻松访问来实现 准确的企业层面的分析和报表。 2、协调主数据：除了主数据整合功能以外，SAP MDM主数据管理还可以通过交互式的 分发模式来协调整个企业范围内的主数据信息，将准确、完整的主数据信息更新到 链接的SAP或非SAP系统中，另外，它还内置了数据处理工作流，支持统一企业内 基于多层角色的模式来共同维护主数据。它可以从一个系统的记录来维护主数据， 并作为集中的主数据管理集线器，自动更新到其他系统中对应的信息，达到整个公 司层面上不同应用系统之间的数据统一、协调。 3、集中主数据：SAP MDM是实现公司层面数据标准化目标的理想平台，在主数据从多 个源系统整合到MDM之后，主数据可以进行集中的管理和创建。用户可以使用功能 强大的客户端主数据管理器或SAP企业门户界面直接管理这些数据，SAP MDM提供 有效的数据校验和工作流平台，可以对主数据的创建、修改和删除进行统一的监管，这些主数据信息也可以根据需要通过业界标准的XML格式同步或分发到其他需要的 系统中，达到集中的主数据质量控制和监管，实现企业数据标准化目标。此外，还 可将统一、标准的信息提取到SAP BI只能分析系统中，得到准确的全局报表分析。 4、管理丰富的产品/物资内容：在SAP MDM中，您不但可以管理具有复杂分类和层次 结构的产品/物资信息，还可以管理组成这些产品/物资主数据的任何类型的内容， 无论是图形还是图表内容。所有主数据内容可以从不同的SAP系统和非SAP系统中 导入。通过单程的数据标准化(内置各种计量单位和单位转换)功能以及高性能的基
数据管理平台建设方案 Document number：NOCG-YUNOO-BUYTT-UU986-1986UT
数据管理平台建设方案 目录 一、数据管理平台项目概述 建立韶关市中小科技企业数据库。韶关市中小科技企业数据库主要收录韶关市科技中小企业的财务数据、治理数据等涉及企业经营和管理的相关的数据，以便为政府决策提供参考。 韶关市中小科技企业数据库的项目建设包括硬件部分和软件部分建设。软件部分建设方面，韶关市科技金融综合服务中心希望能建设成一套综合性的数据管理平台。该数据管理平台的建设以搭建中心与企业桥梁为目标，以提供专业化服务平台为导向，应具备高性能、高安全性、高可靠性、可扩展性、高可用性，便于将来拓展和进一步改造。 二、总体设计 需求概述 1、功能性需求 数据管理平台采用B/S模式，业务操作简单、扩展方便。平台用户群体主要是企业用户与管理员。平台分为前端、后端，具备展示、操作、分析等功能，可以满足服务中心一整套的数据采集、管理、展示及分析需求，具体包含以下模块： ?录入系统
录入系统是录入数据的源头，本着方便录入人员界面录入操作的原则设计，更有效提高数据录入效率。录入系统的数据除了人工录入外，还有一部分通过自动化配置导入的方式，配合人工录入，提高效率。 ?内容发布系统 用户根据需要查询、发布、修改、删除科技金融服务中心的新闻、公告。 并在前端展示。 ?信息检索系统 点击“表”进入检索界面，会员可进行“企业筛选”、“时间筛选”、“字段选 择”、“条件筛选”，快速定位需要数据。 ?元数据管理系统 是韶关市中心企业库的信息目录，用户可很快捷地查询出相关库的信息及与该库相关的流入流出。元数据管理主要是针对韶关市科技金融服务中心的各种元数据进行管理，主要包括元数据的查询，新增，修改，删除。通过建设元数据系统，拥有统一、标准、规范化的库信息，并在所有数据流程中实现有效管理，降低维护成本与资源内耗。 ?数据质检系统 财务数据质检与自动化质检配置结合，用户提交数据同时根据已配置的质检关系将通过质检数据入库，展现用户。为通过质检数据显示在质检不通过列表中根据已配置的质检关系显示对应的错误信息，用户根据错误信息修改数据再次提交质检。 ?配置管理系统
主数据管理和实施 简介：企业主数据是用来描述企业核心业务实体的数据，比如客户、合作伙伴、员工、产品、物料单、账户等；它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。本文将针对主数据管理的概念以及主数据管理解决方案的实施等方面跟大家作一个探讨。 前言 企业主数据是用来描述企业核心业务实体的数据，比如客户、合作伙伴、员工、产品、物料单、账户等；它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。本文将针对主数据管理的概念以及主数据管理解决方案的实施等方面跟大家作一个探讨。 主数据和主数据管理的概念 企业主数据可以包括很多方面，除了常见的客户主数据之外，不同行业的客户还可能拥有其他各种类型的主数据，例如：对于电信行业客户而言，电信运营商提供的各种服务可以形成其产品主数据；对于航空业客户而言，航线、航班是其企业主数据的一种。对于某一个企业的不同业务部门，其主数据也不同，例如市场销售部门关心客户信息，产品研发部门关心产品编号、产品分类等产品信息，人事部门关心员工机构，部门层次关系等信息。 数据管理的范畴和主数据管理的概念 图 1. 数据管理的范畴 如图所示，企业数据管理的内容及范畴通常包括交易数据、主数据以及元数据。 ?交易数据：用于纪录业务事件，如客户的订单，投诉记录，客服申请等，它往往用于描述在某一个时间点上业务系统发生的行为。 ?主数据：主数据则定义企业核心业务对象，如客户、产品、地址等，与交易流水信息不同，主数据一旦被记录到数据库中，需要经常对其进行维护，从而确保其时效性和准确性； 主数据还包括关系数据，用以描述主数据之间的关系，如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。 ?元数据：即关于数据的数据，用以描述数据类型、数据定义、约束、数据关系、数据
集团主数据管理解决方案 1.基本概念 主数据：是用来描述企业核心业务实体的数据，例如客户、供应商、物料、产品、员工、组织等。主数据是具有高业务价值的，应在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。 主数据管理：包含一整套用于生成和维护主数据的规范、技术，完整的平台包括元数据管理，信息系统集成、ETL技术、数据仓库/分析、ESB等组件和技术。 ESB（企业服务总线）：将不同系统的业务抽象成事件或服务，以基于消息内容的形式，通过协议转换、消息过滤、事件路 由，对多个系统不同的事件进行整合。 2.需求概述 为满足集团业务发展，提高集团信息化管理水平，为核心业务系统搭建基础的主数据管理平台，有效解决异构系统间的主数据唯一性、一致性和共享性问题。 3.现状描述 现目前公司的核心业务主数据存储于多套不同的业务系统中，包括AJX、HR、金蝶财务等等，导致的问题主要有以下几个方面： 1)没有规范的管理要求：导致不同系统使用时达不到管理要求，甚 至重复管理同一数据（组织，客户、人员等）； 2)没有标准的规则定义：主数据到了不同的系统可能就变了名字或 编码，直接导致不同业务系统的数据无法共享； 3)没有统一的共享平台：系统与系统间建立点对点的连接，当系统 增多的时候，这样的关系结构会更加混乱，如下图：
＊实线表示已实现自动同步，虚线表示人工添加、导入。 以上3点，直接影响新建信息系统时，没有统一的接口标准可以调用主数据，而新系统要么手工维护多个系统相同的数据，要么单独为每套系统开发接口去适配。 4.解决方案 4.1.实现思路 基于现状分析，可通过搭建主数据仓库，利用ESB平台建立各业务系统间的连接，实现主数据的CRUD管理。
Oracle 数据文件的管理策略 数据文件是物理上存储表空间数据的操作系统文件，在创建表空间的同时将为它建立数据文件。在创建表空间前，DBA不仅要考虑表空间的管理方式，还需要决定与表空间对应的数据文件的数量、大小以及位置。 1．确定数据文件的数量 在为其他非SYSTEM表空间设置数据文件的数量时，需要考虑如下限制条件： ●初始化参数DB_FILES指定在SGA区中能够保存的数据文件信息的最大数量，也 就是一个实例所能支持的数据文件的最大数量。 ●操作系统中每一个进程能够同时打开的文件数量是有限的，这个限制的大小取决于 操作系统本身。 ●每新建一个数据文件，都会在数据库的控制文件中添加一条记录。如果在控制文件 中指定了MAXDATAFILES子句，那么在控制文件中最多只能保存 MAXDA TAFILES条数据文件的记录。但是数据库所拥有的数据文件的最大值仍然 是DB_FIELS参数指定。如果MAXDATAFILES参数小于DB_FILES参数，则Oracle 会自动对控制文件进行扩展，以便容纳更多的数据文件记录。 2．确定数据文件的存放位置 表空间数据的物理存放位置由数据文件的存放位置决定。因此，要正确地为表空间设置物理存储位置，就必须合理地选择数据文件的存放位置。 例如，如果数据库可以使用多个磁盘，可以考虑将可能并发访问的数据文件分散存储在各个磁盘中，这样可以减少由于磁盘I/O冲突对系统性能造成的影响。 3．分离存放数据文件与日志文件 如果数据库的可靠性要求较高，则必须保证数据文件与重做日志文件分别保存在不同的磁盘中。如果数据文件和重做日志文件保存在同一个磁盘中，当这个磁盘损坏时，数据库中的数据将永久性地丢失。 在使用复合重做日志文件时，如果各个成员日志文件分别存放在独立的磁盘中，那么同时丢失所有重做日志的可能性很小，这时将数据文件与重做日志文件保存在相同的磁盘中是允许的。
元数据解决方案 随着报价系统每年收集和使用的数据飞速增长，数据体量日趋增长，数据形态多样化且不统一，多种数据源之间的采集、传播和共享遇到困难。元数据管理作为大数据治理的核心，是有效管理这些数据的基础和前提，在信息化建设中发挥着重要的作用。如何理解、管理并发挥出元数据的价值，成为迫切的任务。一、什么是元数据 元数据（Metadata）是关于数据的数据。元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。 1.技术元数据 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息： 1)数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据 的定义，以及数据集市的位置和内容。 2)业务系统、数据仓库和数据集市的体系结构和模式。 3)汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、 汇总、预定义的查询与报告。 4)由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分 割、数据提取、清理、转换规则和数据刷新规则、安全（用户授权和存 取控制）。 2.业务元数据 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息：
1)使用者的业务术语所表达的数据模型、对象名和属性名。 2)访问数据的原则和数据的来源。 3)系统所提供的分析方法以及公式和报表的信息。 4)企业概念模型、多维数据模型，业务概念模型与物理数据的依赖， 二、元数据的作用 元数据可以实现业务模型与数据模型的映射，帮助用户理解数据仓库中的数据；元数据清晰的描述了数据的来龙去脉，描述了数据抽取转换规则，是保证数据质量的关键；元数据管理系统可以把整个业务的工作流、数据流和信息流有效的管理，可以支持需求变化，从而提高系统的可扩展性；打通数据孤岛，统一数据定义，形成企业级知识传承平台，元数据管理使得数据变的更有价值。三、元数据管理 在大数据时代的背景下，数据即资产，元数据实现了信息的描述和分类的格式化，从而为机器处理创造了可能，它能帮助企业更好地对数据资产进行管理，理清数据之间的关系。元数据管理是企业提升数据质量的基础，也是企业数据治理中的关键环节。元数据管理不当，信息很容易被丢失，进而不能对业务进行有效支撑，企业内部业务人员要识别相关信息就会变得十分困难，最终用户也将失去对数据的信任。 1.元数据采集 技术元数据的采集，根据现有元数据设计出元模型，然后将数据仓库系统之中的元数据按元模型集中汇总并关联到一起，达到企业对数据统一管理与应用的目的，ETL等产生的元数据，对于元数据管理工具支持的格式可直接进行导入，对于一些自定义的规则，需要进行格式转换并导入。
科研管理信息平台建设方案 一、背景 科研管理信息平台要实现对医院科研情况的有效管理以及对科研活动的全程跟踪。该系统为科研管理人员服务，能够实现对科研信息的高效率管理和控制，又能满足决策者对科研活动的宏观管理与决策的需要，还能够为医院科研人员的考评提供依据。 科研管理信息平台是医院科研管理的核心部分，包括科研人员、项目申报、成果管理、科技统计、成果管理、专利管理、经费管理、报表管理等多项信息管理职能。建立一套适用于医院科研管理的信息系统，已经成为当前医院科研工作较为迫切的需求。 建立一套完善的科研管理信息平台可以极大地提高管理效率，为领导的决策提供较科学的依据。一套较完善的科研管理信息平台，应以项目管理为中心，涵盖计划、合同、成果、专利、资金、人员、设备等方面，并可关联到办公、人事、财务、设备等其它业务系统，整个系统庞大而复杂。 二、技术方案 1(总体设计 科研管理信息平台涵盖医院科研管理工作所有环节，涉及到科研资源、科研项目、科研经费、科研成果、成果获奖、对外交流、论文收引、科研考评以及数据上报等方面，基于院内网/互联网为医院科研工作提供先进、实用的信息化管理手段，为科研人员及管理人员提供简便、快捷的网络化信息服务。 为了保证原有相关应用系统(如:教务、图书馆、人事、财务、资产等)的能够得到充分利用并发挥更大的作用，需要按照一定的业务规则，统一的、方便的、高效的集成这些应用系统，所以在项目中需要建设配套的应用集成标准和集成平台。
除上述管理功能要求外，本建设方案中还包含在线信息查询、信息发布等服务，以保证医院各科室科研人员信息的及时获取。 综合科研管理信息平台的功能要求，我们将系统将系统建设分为两期进行，具体如下: 一期:主要进行基本功能建设 1、科研数据集成管理平台 2、数据查询平台 3、数据筛选系统 4、科研考评管理系统 5、科研管理信息门户网站 6、数据管理系统 7、论文管理平台 二期:进行次要功能建设 1、数据综合查询、统计系统 2、数据共享平台 3、短信交流平台 4、网络期刊检索系统 5、科研论坛 6、在线答疑系统 7、院外链接支持 系统结构: 本系统计划采用C/S+B/S设计模式，采用C#为开发语言，SQL Server 2005为数据库来进行设计与开发。基于https://www.doczj.com/doc/f09371648.html,平台构建Web应用程序，把系统划分为数据层、业务逻辑层和表示层。为保证系统数据的安全性，建议科研管理系统采
大数据环境下的数据质量管理策略 信息时代，数据已经慢慢成为一种资产，数据质量成为决定资产优劣的一个重要方面。随着大数据的发展，越来越丰富的数据给数据质量的提升带来了新的挑战和困难。提出一 种数据质量策略，从建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续 改进的工作机制和完善元数据管理４个方面，多方位优化改进，最终形成一套完善的质量 管理体系，为信息系统提供高质量的数据支持。 １信息系统数据质量 信息由数据构成，数据是信息的基础，数据已经成为一种重要资源。对于企业而言， 进行市场情报调研、客户关系维护、财务报表展现、战略决策支持等，都需要信息系统进 行数据的搜集、分析、知识发现，为决策者提供充足且准确的情报和资料。对于政府而言，进行社会管理和公共服务，影响面更为宽广和深远，政策和服务能否满足社会需要，是否 高效地使用了公共资源，都需要数据提供支持和保障，因而对数据的需求显得更为迫切， 对数据质量的要求也更为苛刻。 作为信息系统的重要构成部分，数据质量问题是影响信息系统运行的关键因素，直接 关系到信息系统建设的成败。根据“垃圾进，垃圾出（ｇａｒｂａｇｅｉｎ，ｇａｒｂａｇｅｏｕｔ）”的原理，为了使信息系统建设取得预期效果，达到数据决策的目标，就要求信息系统提供的数据是可靠的，能够准确反应客观事实。如果数据质量得不到保证，即 使数据分析工具再先进，模型再合理，算法再优良，在充满“垃圾”的数据环境中也只能
得到毫无意义的垃圾信息，系统运行的结果、作出的分析就可能是错误的，甚至影响到后续决策的制定和实行。高质量的数据来源于数据收集，是数据设计以及数据分析、评估、修正等环节的强力保证。因此，信息系统数据质量管理尤为重要，这就需要建立一个有效的数据质量管理体系，尽可能全面发现数据存在的问题并分析原因，以推动数据质量的持续改进。 ２大数据环境下数据质量管理面临的挑战 随着三网融合、移动互联网、云计算、物联网的快速发展，数据的生产者、生产环节都在急速攀升，随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天，越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛，每天通过分布在世界各地的６０００多家商店向全球客户销售超过２．６７亿件商品，每小时获得２．５ＰＢ的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计，２０１５年全球数据量为８ＺＢ，而到２０２０年则高达３５．２ＺＢ，是２０１５年数据量的４４倍之多。此外，随着移动互联网、Ｗｅｂ２．０技术和电子商务技术的飞速发展，大量的多媒体内容在指数增长的数据量中发挥着重要作用。 大数据时代下的数据与传统数据呈现出了重大差别，直接影响到数据在流转环节中的各个方面，给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表１所示。 由于以上特性，大数据的信息系统更容易产生数据质量问题：
企业大数据管理解决方案 摘要：大数据的应用方兴未艾,根据国内企业的应用场景,给出了企业大数据管理解决方案。此方案还为数据的进一步处理打下了基础。关键词：大数据; 企业大数据管理 IT行业一直在不断地努力，以最佳方案满足日益增长的各种需求。继云计算之后，大数据又成为业界关注的热点。云计算更多地体现在它的商业模式与服务模式上，而大数据则更关注数据的处理，而这些纷杂的数据则是关系社会、企业乃至个人生活的核心关键，可以说数字时代数据为要。1 大数据参考架构通常人们认为大数据具有4V特点，即：Variety(多样性）、Volume(大容量或海量)、Velocity(快速)和Value(价值)。至于大数据的严格定义，则是人者见人、智者见智，莫衷一是[1]。根据调研与实践，本文给出了相关的参考架构，。 可以将大数据的参考层次分为4个： (1) 数据采集。主要涉及对数据源的采集，包括各种结构化与非结构化数据、静态数据与动态实时数据等。(2) 数据存储。主要涉及对数据的存储，包括分布式存储、海量存储、虚拟存储等。(3) 数据处理。主要涉及对数据的转换、传输、分发等。 (4) 数据分析。主要涉及对数据的清洗、比对、挖据、钻取等。同时,按照数据平台管理、数据维护、安全保护等维度，存在着贯穿各层的管理机制，即： (1) 系统管理。对构建的系统平台进行管理与维护。 (2) 数据管理。按照数据生命周期对数据进行管理。 (3) 安全管理。对数据隐私、数据安全、访问安全、系统安全等方面进行管理。2 企业大数据解决方案由于大数据的应用很多，本文更加关注企业所处的混杂数据的应用场景，基于上面给出的参考架构，给出相应的解决方案。2.1 应用场景企业的数据是企业的核心资料，企业信息化的核心问题就是数据的应用的效率与效果。目前企业的数据主要包括：财务类数据、管理类数据、业务类数据等，这些数据可以是结构化数据和非结构化数据。从容量上看，随着信息化应用的不断提高，可以达到GB或TB级，对于一些行业，甚至有可能达到PB级。2.2 解决方案本文提出的企业大数据解决方案是从业务连续性的角度来考虑用户数据的问题。参考了业界流行的ISO20000、ISO27000、BCP/DRP、ＳＯＡ等相关标准和技术，从安全、服务的范畴来管理数据、保护数据、使用数据。方案主要解决企业用户的结构化与非结构化数据的存储、管理，为企业相关应用提供基础数据，为企业的业务连续性保驾护航。2.2.1 技术特点方案主要融合了信息安全技术、数据管理技术、数据同步复制技术、数据库技术、商务智能技术等，区别于现有的数据备份产品、数据复制产品、数据管理产品，更关注数据在复制之后能够被快速使用与恢复，以延续业务的连续性。方案为用户数据的进一步加工处理打下了基础，有助于用户整合数据、整合应用、数据加工、商务智能、决策分析等。主要特点：(1)支持多种数据库的不同版本，也支持多种异构数据库之间的同步，如Oracle、SQL Server、MySQL、Sybase、DB2、AS400等可以同步到Oracle 数据库或其他数据库上。 (2)支持一对一、一对多、多对一、多对多等异构数据库同步方式。 (3)比较强的数据加工能力，可以选择数据源的不同字段，也可以对数据源做相应的转换、逻辑判断、映射等处理，还可以设置在数据同步时做异常数据检查等。 (4)比较强的传输能力，内置数据传输平台，满足复杂网络情况下的数据可靠传输，支持广域网下的数据同步，支持跨网段的数据同步，支持物理隔离情况下的数据同步。 (5)易用性。提供中文工具，方便可视化操作和监控。2.2.2 技术原理统一支持结构化数据和非结构化数据的同步及相应加工。提供可视化工具配置结构化数据和非结构化数据的同步与加工。 (1)非结构化数据文件既可以通过系统内置的传输平台同步到备份方的文件夹下，也可以将备份方文件夹下的数据文件映射到数据库上。对于非结构化的文件备份，可以在数据源方部署一个节点，负责监控和发送文件，通过可视化配置的数据推送服务，选择要发送的文件夹、文件、接收节点、接收文件夹等信息，通过定时等调度策略将文件发送到备份方。当然要发
主数据管理(MDM)的成熟度 MDM全写Master Data Management，翻译为主数据管理或元数据管理。 什么是MDM 企业主数据是用来描述企业核心业务实体的数据，比如客户、合作伙伴、员工、产品、物料单、账户等；它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。 主数据和主数据管理的概念 企业主数据可以包括很多方面，除了常见的客户主数据之外，不同行业的客户还可能拥有其他各种类型的主数据，例如：对于电信行业客户而言，电信运营商提供的各种服务可以形成其产品主数据；对于航空业客户而言，航线、航班是其企业主数据的一种。对于某一个企业的不同业务部门，其主数据也不同，例如市场销售部门关心客户信息，产品研发部门关心产品编号、产品分类等产品信息，人事部门关心员工机构，部门层次关系等信息。 数据管理的范畴和主数据管理的概念 如图所示，企业数据管理的内容及范畴通常包括交易数据、主数据以及元数据。 ●交易数据：用于纪录业务事件，如客户的订单，投诉记录，客服申请等， 它往往用于描述在某一个时间点上业务系统发生的行为。 ●主数据：主数据则定义企业核心业务对象，如客户、产品、地址等，与交 易流水信息不同，主数据一旦被记录到数据库中，需要经常对其进行维护，从而确保其时效性和准确性；主数据还包括关系数据，用以描述主数据之间的关系，如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。
元数据：即关于数据的数据，用以描述数据类型、数据定义、约束、数据关系、数据所处的系统等信息。 主数据管理是指一整套的用于生成和维护企业主数据的规范、技术和方案，以保证主数据的完整性、一致性和准确性 ( “ The set of disciplines, technologies, and solutions used to create and maintain consistent, complete, contextual and accurate business data for all stakeholders (users, applications, data warehouses, processes, companies, trading partners, customers, etc.) across and beyond the enterprise ” ) 。主数据管理的典型应用有 Customer Data Integration —客户数据管理和Product Information Integraiton —产品数据管理。 图 2. 主数据管理的信息流 一般来说，主数据管理系统从 IT 建设的角度而言都会是一个相对复杂的系统，它往往会和企业数据仓库 / 决策支持系统以及企业内的各个业务系统发生关系，技术实现上也会涉及到 ETL、EAI、EII 等多个方面，如图 2 所示，一个典型的主数据管理的信息流为： 1.某个业务系统触发对企业主数据的改动； 2.主数据管理系统将整合之后完整、准确的主数据分发给所有有关的 应用系统； 3.主数据管理系统为决策支持和数据仓库系统提供准确的数据源。 因此对于主数据管理系统的建设，要从建设初期就考虑整体的平台框架和技术实现。
数据管理平台建设方案
数据管理平台建设方案 目录
一、数据管理平台项目概述 (2) 二、总体设计 (3) 2.1 需求概述 (3) 1、功能性需求 (3) 2、非功能需求 (4) 2.2 设计方案 (5) 三、关键的开发技术 (6) 四、系统软硬件要求 (8)
一、数据管理平台项目概述 建立韶关市中小科技企业数据库。韶关市中小科技企业数据库主要收录韶关市科技中小企业的财务数据、治理数据等涉及企业经营和管理的相关的数据，以便为政府决策提供参考。 韶关市中小科技企业数据库的项目建设包括硬件部分和软件部分建设。软件部分建设方面，韶关市科技金融综合服务中心希望能建设成一套综合性的数据管理平台。该数据管理平台的建设以搭建中心与企业桥梁为目标，以提供专业化服务平台为导向，应具备高性能、高安全性、高可靠性、可扩展性、高可用性，便于将来拓展和进一步改造。 二、总体设计 2.1 需求概述
1、功能性需求 数据管理平台采用B/S模式，业务操作简单、扩展方便。平台用户群体主要是企业用户与管理员。平台分为前端、后端，具备展示、操作、分析等功能，可以满足服务中心一整套的数据采集、管理、展示及分析需求，具体包含以下模块：?录入系统 录入系统是录入数据的源头，本着方便录入人 员界面录入操作的原则设计，更有效提高数据 录入效率。录入系统的数据除了人工录入外， 还有一部分通过自动化配置导入的方式，配合 人工录入，提高效率。 ?内容发布系统 用户根据需要查询、发布、修改、删除科技金 融服务中心的新闻、公告。并在前端展示。
?信息检索系统 点击“表”进入检索界面，会员可进行“企业筛选”、“时间筛选”、“字段选择”、“条件筛选”，快速定位需要数据。 ?元数据管理系统 是韶关市中心企业库的信息目录，用户可很快捷地查询出相关库的信息及与该库相关的流入流出。元数据管理主要是针对韶关市科技金融服务中心的各种元数据进行管理，主要包括元数据的查询，新增，修改，删除。通过建设元数据系统，拥有统一、标准、规范化的库信息，并在所有数据流程中实现有效管理，降低维护成本与资源内耗。 ?数据质检系统 财务数据质检与自动化质检配置结合，用户提
国家电网公司物资分类与物料主数据 管理细则 第一章总则 第一条为提升物资分类与物料主数据管理水平，依据《国家电网公司物资采购标准管理办法》，制定物资分类与物料主数据管理细则（以下简称细则）。 第二条本细则适用于公司总（分）部、各单位及所属各级单位（含全资、控股、代管单位）物资分类与物料主数据（以下简称“主数据”）的新增、修订、问题受理等管理工作，服务分类及服务主数据管理可参照执行。 第三条本细则所称“主数据”包括物资分类、物料主数据及采购标识规则。主数据在国网公司主数据管理平台（SG-MDM）进行统一管理和维护，管理流程见附件：物资和服务主数据管理流程图。 第四条物资分类是根据物资信息化管理要求，从不同角度、不同层次，对物资进行区分、归类、命名、描述，建立的物资分类结构体系和物资信息化代码体系。 国网公司的物资分类体系按照大类、中类、小类进行分类，每个小类下辖若干特征项，每个特征项下对应若干特征值。 第五条物料主数据是根据物资分类结构体系，按照相关规则，赋予物资的信息化代码，包含了物资编码、物料描述、计量单位、采购标识和分类特征等信息。 第六条采购标识是根据物资采购标准，对物料进行分类的标识，分为国网标准物料、非标准物料和未标准化物料。 国网标准物料指物资采购标准界定范围内、公司推广应用的物资；非标准物料指在物资
采购标准界定范围外、公司限制使用的物资；未标准化物料指尚未编制物资采购标准、公司不限制使用的物资。 第七条采购标识规则是根据物资采购标准制定、辅助计算机识别采购标识的规则，是物料主数据与采购标准模板的衔接纽带。 第八条本细则职责分工按照《国家电网公司物资采购标准管理办法》执行。 第二章新增与修订 第九条主数据新增 （一）新增主数据对应的物资必须是客观存在的、但尚未列入主数据管理系统的物资。新增主数据的需求是否合理的判断依据是国家标准、行业标准、公司企业标准以及公司科技推广成果。 （二）公司各级单位在提报新增主数据需求之前，须组织开展预审。 （三）新增小类以电子邮件形式进行提报，特征值及物料主数据新增需登陆主数据管理系统进行线上提报。新增小类一般应根据物资关键特性设置特征项；新增特征值需符合既有特征项的定义。 第十条主数据修订 （一）主数据修订包括物资分类、特征值、物料主数据的冻结、解冻，以及采购标识规则的修订。 （二）对于重复存在或无法满足物资采购及应用需求的主数据，经咨询专业专家意见、国网物资部批准后，在主数据管理系统中完成修订工作，并及时发布通知公告。 （三）物资分类及物料主数据被冻结后，对于需要处理未清业务的，由各单位在ERP 系统中自行解冻，业务处理完毕即时恢复冻结状态。对于仍在计划申报阶段，未发布招标采购公告的主数据，原则上不能继续使用，应选用其他物料主数据申报计划。