2018年系统元数据管理系统分析
- 格式:doc
- 大小:712.00 KB
- 文档页数:14
“八朵云”打造金融云服务平台随着金融服务数字化加速,银行纷纷踏上数字化转型之路,移动化、智能化、数据化给客户带来更便捷的服务、更低的价格、更好的体验,也为普惠金融服务提供了可持续发展的技术基础。
江南农村商业银行(以下简称“江南农商行”)以技术创新与业务深度融合为宗旨,实践“科技引领,科技输出,科技反哺”战略,建设“八多云”金融云服务平台,探索新服务模式,为客户及中小金融机构提供综合金融服务,经营业绩持续稳居区域同业机构之冠。
数据治理与数据资产江南农商行2015年以来持续开展数据治理工作,一是实现了全行经营数据大集中,新数据仓库全面采集全行50余个业务系统元数据,通过交换平台将元数据精准发送至管理系统,实现数据统一和信息共享;同时建立了较为完善的数据治理体系和数据标准体系,并基于新数仓通过数据质量管理平台,实现对数据质量的集中监控。
二是实现了行内客户信息有效整合,客户信息管理系统(ECIF)整合了行内各系统的客户信息,逐步实现了客户分类管理、形成客户统一视图、深度挖掘客户需求等。
2018年根据前期数据治理及核心业务系统升级后带来的数据变化,启动了数据治理项目二阶段“数据金桥”项目,梳理各系统之间的数据共性,设定统一标准,保证数据有效性,实现数据融合;对日常经营和管理过程中存在并有效的人工记录数据和过程性数据进行梳理并实现数据在全行共享;梳理场景化数据的类型和获取来源,判定数据信息价值和收集沉淀可行性;制定全行统一的企业级数据标准,制定适合监管集市落标的应用型指标标准;建立数据质量治理平台,完成数据标准管理、数据质量管理、元数据管理,实现数据标准在线发布、数据的使用、认责、维护和检核等数据生命周期的闭环管理。
外部数据是对行内数据的丰富和补充,更是业务应用的基础,可为营销、风控、反欺诈等业务提供支撑。
目前,江南农商行形成相对稳定的多渠道外部数据采集模式,并按照架构先行的策略和未来业务的平台化要求,逐步形成江南大数据平台架构。
数据治理可行性分析引言随着大数据时代的到来,企业面临着海量数据的处理和管理挑战。
为了实现数据的高效利用、信息的准确传递以及决策的科学性,数据治理成为了一个重要的话题。
数据治理是指通过对数据进行规范管理和控制,确保数据的质量、安全和合规性,以支持企业的战略发展和决策。
本文将对数据治理的可行性进行分析。
1. 企业数据的现状在进行数据治理可行性分析之前,首先需要了解企业数据的现状。
对于大多数企业而言,数据通常分散在各个部门、系统和业务应用中,难以统一管理。
此外,数据的质量和准确性也面临着挑战,包括数据重复、数据丢失、数据不一致等问题。
此外,数据安全和合规性也是企业面临的重要问题,如何保护数据的安全性、防止数据泄露和滥用,以及符合相关法律法规的要求,都是企业需要重视的方面。
2. 数据治理的意义数据治理的意义在于帮助企业建立一个统一的、可信的数据基础,提升数据的质量和价值。
通过数据治理,企业可以实现以下目标:- 统一数据标准:建立统一的数据标准和元数据管理,确保各部门和系统使用的数据一致性和准确性。
- 提升数据质量:通过数据清洗、去重、校验等方式,提升数据质量,减少错误和冗余数据的影响。
- 完善数据安全:建立合适的数据权限和访问控制机制,确保数据的安全性,防止数据泄露和滥用。
- 符合合规要求:确保企业数据的处理和管理符合相关法律法规的要求,并通过各种监管机构的审核与检查。
3. 数据治理的关键要素数据治理包括多个关键要素,需要全面考虑下述几个方面:- 人员与组织:建立专业的数据治理团队,明确数据治理职责和权限,制定数据治理政策和流程。
- 数据架构和规范:制定统一的数据标准和元数据管理,确保数据的一致性和准确性。
- 数据质量管理:建立数据质量监控和评估机制,提升数据的质量和价值。
- 数据安全与合规:制定数据权限和访问控制策略,确保数据的安全和合规性。
- 技术支持与工具:选择合适的数据治理工具和技术,支持数据的整合、清洗和分析。
数据治理六要素引⾔:帆软作为全球数据分析和商业智能平台提供商,这⼏年深刻的感受到了全球数据应⽤的热潮,但是随着越来越多的客户开始实施并⼴泛应⽤BI系统,数据治理的话题也在最近被越来越多地提及和讨论。
过去的⼗年,银⾏的IT系统经历了数据量⾼速膨胀的时期,这些海量的、分散在不同⾓落的异构数据导致了数据资源的价值低、应⽤难度⼤等问题。
同时,银⾏内部的业务条线或⾏政分化也在不断地制造着银⾏数据交互的断层,⽽银⾏与外部业务交互所产⽣的“体外循环”数据与企业的核⼼数据体系并不能⾃然地融合,这个时候数据治理体系建设可能不是银⾏的⼀个选择,⽽是唯⼀的出路。
数据治理规划在长期对客户的FineBI商业智能项⽬的跟踪过程中我们发现,往往只有那些建⽴了⼀定的数据治理体系的客户,才能真正的将商业智能⽤起来,⽤户才能真正进⼊商业智能时代。
这个问题在银⾏等⾦融机构内显得尤为突出,银⾏数据向来以量⼤质优⽽著称,但是实际情况是它⽐其他⾏业好⼀些,但是长期以来也缺乏数据治理的体系化建设,导致商业智能价值链受阻。
要想在数字化转型中抓住机遇,银⾏的数据治理体系建设势在必⾏。
数据治理是⼀个系统⼯程,是⼀个从上⾄下指导,从下⽽上推进的⼯作。
因此,在指导⽅⾯必须得到⼤家的共识,要有⼀个强有⼒的组织、合理的章程、明确的流程、健壮的系统,这样才能使数据治理⼯作得到有效的保障。
要素⼀:发展战略⽬标战略是选择和决策的集合,共同绘制出⼀个⾼层次的⾏动⽅案,以实现更⾼层次⽬标。
数据战略是企业发展战略中的重要组成部分,是数据管理计划的战略,是保持和提⾼数据质量、完整性、安全性和存取的计划,是指导数据治理的最⾼原则。
数据治理是否与企业发展战略相吻合也是衡量数据治理体系实施是否成熟、是否成功的重要标准。
要在企业发展战略框架下,建⽴数据治理的战略⽂化,包括企业⾼层领导对数据治理的重视程度、所能提供的资源、重⼤问题的协调能⼒,以及对数据治理⽂化的宣传推⼴、培训教育等⼀系列措施。
政务数据治理赋能平台【背景情况】连云港市政务数据治理赋能平台于2018年6月启动建设,作为全市的政务数据共享交换的中心枢纽,是推进政务信息系统整合共享和互联互通的总枢纽,是构建全市统一的数据资源体系和数据中心的核心系统,也是对接省共享交换平台的唯一通道。
截至目前,已有54个市直部门使用数据共享平台归集数据,共采集数据量33.2亿多条,代理国家、省、市接口共计335个,为31个业务部门提供3000余个资源的数据协同共享服务,总计交换数据量达399亿多条,有力支持政务服务一张网、我的连云港APP、不动产登记交易一体化系统等智慧城市应用系统建设。
【解决的问题】连云港市政务数据治理赋能平台运行以来,取得了良好效果。
目前我市政务信息资源汇聚总量在江苏省各设区市排名第五,数据更新及时率在全省各设区市排名第三。
数据共享使用率达100%,日均数据交换量达500余万条。
正在为“我的连云港”APP、连云港疫情防控大数据平台、“城管智慧云码”平台、公交出行“卡码融合”、自贸区住所核验、“连易办”自助终端、连信预付卡、不动产交易登记平台、全民健康信息平台、旅游年卡办理系统等应用系统提供丰富有力的数据支撑。
【主要做法】本案例基于紫光云技术等先进技术架构,在“互联网+政务服务”领域应用大数据技术,通过实施基础数据库建设和大数据综合治理,推广大数据应用,实现政务服务事项“网上办”乃至“一网通办”,达到了较好的社会效果。
基础数据库建设基础数据库是整合电子政务、大数据中心建设的源头,是各部门应用系统实现信息共享资源优化的前提,建设并完善人口、法人、空间地理信息、宏观经济、电子证照及社会信用信息等六大基础库,为跨部门业务协同提供有力保障;彻底打破信息孤岛,满足各业务部门信息互联互通和共享交换的需求;为政府、企业和社会公众提供全方位、实时更新的基础信息服务。
大数据门户对接基于大数据基础平台,建设政务数据治理赋能平台,与省级大数据共享平台级联,归集本级政务数据、申请国家和省共享数据,实现数据质量管理、数据供需服务与接口管理等,为创新应用提供良好的数据支撑和共享渠道。
ICS35.240.01L 67DB12天津市地方标 准DB12/T 819. 1—2018城市建设管理政务信息资源目录体系第1部分:核心元数据Government information resource catalog system for urban constructionmanagement-Part 1:Core metadata2018-07- 25 发布2018 - 09 - 01 实施刖言DB12/T 819 —2018《城市建设管理政务信息资源目录体系》分为3个部分:—第1部分:核心元数据;----第2部分:信息资源分类;—第3部分:标识符编码规则。
本部分为DB12/T 819 —2018的第1部分。
本部分按照GB/T 1.1-2009《标准化工作导则第1部分:标准的结构和编写》给出的规则起草。
本部分由天津市规划局提出并归口。
本部分起草单位:天津市规划局、天津市测绘院。
本部分主要起草人:刘俊卫、盛中杰、才睿、韩振镖、胡珂、刘玉财、王少一、于海波、吴永军、马淅濛、储寅东、陈楚、关昆、李晓明、王永峰、王冬、孟浩东、周奎、周丽珠、方芳、王燕午、苏绣、李雯、任建建、冯涛、王松、王刚、王喆、周浩、周达、李胜友、马骏、王磊。
城市建设管理政务信息资源目录体系第1部分:核心元数据1范围本部分规定了天津市城市建设管理信息资源特征所需的核心元数据及其表示方法,给出了各核心元 数据的定义和著录规则。
本部分规定了 10个必选的核心元数据和6个可选核心元数据,用以描述天津市 城市建设管理信息资源的标识、内容、管理等信息,并给出了核心元数据的扩展原则和分发。
本部分适用于天津市城市建设管理信息资源目录的编目、建库、发布和查询。
2规范性引用文件下列文件对于本文件的应用是必不可少的。
凡是注日期的引用文件,仅注日期的版本适用于本文件。
凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T7408-2005数据元和交换格式信息交换日期和时间表示法(ISO 8601: 2000,IDT)GB/T 21063.3-2007政务信息资源目录体系第3部分:核心元数据3术语和定义GB/T 21063.3-2007中界定的术语和定义适用于本文件。
满分的答案一、单选题1机箱电磁锁安装在()。
A、机箱边上B、桌腿C、电脑耳机插孔D、机箱内部我的答案:D2PDRR安全防护模型的要素不包括()。
A、防护B、检测C、预警D、恢复我的答案:C3身份认证是证实实体对象的()是否一致的过程。
A、数字身份与实际身份B、数字身份与生物身份C、数字身份与物理身份D、数字身份与可信身份我的答案:C4国内最大的漏洞报告平台为()。
A、乌云网B、口令网C、信息保护D、数据卫士我的答案:A5下列关于计算机网络系统的说法中,正确的是()。
A、它可以被看成是一个扩大了的计算机系统B、它可以像一个单机系统当中一样互相进行通信,但通信时间延长C、它的安全性同样与数据的完整性、保密性、服务的可用性有关D、以上都对我的答案:D6计算机硬件设备及其运行环境是计算机网络信息系统运行的()。
A、保障B、前提C、条件D、基础我的答案:D7伊朗核设施瘫痪事件是因为遭受了什么病毒的攻击?()埃博拉病毒B、熊猫烧香C、震网病毒D、僵尸病毒我的答案:C8创建和发布身份信息不需要具备()。
A、唯一性B、非描述性C、资质可信D、权威签发我的答案:C9下面关于数字签名的特征说法不正确的一项是()。
A、不可否认只能使用自己的私钥进行加密C、不可伪造D、可认证我的答案:B10衡量容灾备份的技术指标不包括()。
A、恢复点目标B、恢复时间目标C、安全防护目标D、降级运行目标我的答案:C11容灾备份系统组成不包括()。
A、数据粉碎系统B、数据备份系统备份数据处理系统D、备份通信网络系统我的答案:A12在对全球的网络监控中,美国控制着()。
A、全球互联网的域名解释权B、互联网的根服务器C、全球IP地址分配权D、以上都对我的答案:D13可用于对NTFS分区上的文件和文件加密保存的系统是()。
A、BitlockerB、IISC、EFSX—Scan我的答案:C14造成计算机系统不安全的因素包括()。
A、系统不及时打补丁B、使用弱口令C、连接不加密的无线网络D、以上都对我的答案:D15目前公认最安全、最有效的认证技术的是()。
北京市质量技术监督局关于公布2018年北京市技术标准制修订补助项目评审结果的通知
文章属性
•【制定机关】北京市质量技术监督局
•【公布日期】2018.09.07
•【字号】京质监发〔2018〕79号
•【施行日期】2018.09.07
•【效力等级】地方规范性文件
•【时效性】现行有效
•【主题分类】标准化
正文
北京市质量技术监督局关于公布
2018年北京市技术标准制修订补助项目评审结果的通知
京质监发〔2018〕79号
各有关单位:
根据《北京市技术标准制(修)订专项补助资金管理办法》(京财经一〔2006〕2293号)和《北京市重点发展的技术标准领域和重点标准方向》(京质监办发〔2017〕81号),我局组织了2018年北京市技术标准制修订补助项目申报与评审工作。
我局共计受理了122家单位申报的299个标准项目。
经过形式审查、项目核查、财务审核、专业评审、终审等环节的评审,本着好中选优的原则,最终确定对87家单位的176个项目给予共计1200万元补助。
获得补助资金的标准项目及单位
名单见附件。
请获得补助资金的单位严格遵照《北京市技术标准制(修)订专项补助资金管理办法》,专款专用,充分发挥补助资金对标准化工作的促进作用。
各单位应重点做好获得补助标准的宣贯工作,关注标准的实施情况和实施效果。
各单位应按照《标准制修订补助经费使用协议》要求,提交标准补助经费实施情况报告。
附件:2018年北京市技术标准制修订补助项目名单
北京市质量技术监督局
2018年9月7日附件。
2018年上半年信息系统项目管理师上午试题● 我国在“十三五”规划纲要中指出要加快信息网络新技术开发应用,以拓展新兴产业发展空间,纲要中提出将培育的新一代信息技术产业创业重点中不包括(1)。
(1)A. 人工智能 B. 移动智能终端 C. 第四代移动通信 D. 先进传感器试题分析出自中项第二版教材P13。
我国在“十三五”规划纲要中,将培育人工智能、移动智能终端、第五代移动通信(5G)、先进、先进传感器等作为新一代信息技术产业创新重点发展,拓展新兴产业发展空间。
参考答案:C● 智能具有感知、记忆、自适应等特点,能够存储感知到的外部信息及由思维产生的知识,同时能够利用己有的知识对信息进行分析、计算、比较、判断、联想和决策属于智能的(2)能力。
(2)A. 感知 B. 记忆和思维 C.学习和自适应 D. 行为决策试题分析出自高项第三版教材P100。
智能一般具有这样一些特点:一是具有感知能力,即具有能够感知外部世界、获取外部信息的能力,这是产生智能活动的前提条件和必要条件;二是具有记忆和思维能力,即能够存储感知到的外部信息及由思维产生的知识,同时能够利用已有的知识对信息进行分析、计算、比较、判断、联想、决策;三是具有学习能力和自适应能力,即通过与环境的相互作用,不断学习积累知识,使自己能够适应环境变化;四是具有行为决策能力,即对外界的刺激做出反应,形成决策并传达相应的信息。
参考答案:B● 某快消品连锁企业委托科技公司a开发部署电子商务平台,a公司根据系统设计任务书所确定的范围,确定系统的基本目标和逻辑功能要求,提出新系统的逻辑模型,这属于信息系统生命周期中(3)阶段的工作。
(3)A. 系统规划 B. 系统分析 C. 系统设计 D. 系统实施试题分析出自高项第三版教材P11。
系统分析阶段的任务是根据系统设计任务书所确定的范围,对现行系统进行详细调查,描述线性系统的业务流程,指出现行系统的局限和不足之处,确定新系统的基本目标和逻辑功能要求,提出新系统的逻辑模型。
1、DCMM简介、结构组成和能力等级划分1.1、DCMM简介:数据能力成熟度评价模型是一个综合数据管理过程、活动以及制度规范等多方面内容的模型,目标是提供一个全方位组织数据能力评估的模型,在模型的设计中,结合数据生命周期管理各个阶段的特征,对数据能力进行了分析、总结,提炼出组织数据管理的八大能力,并对每项数据能力进行了二级过程域、建设目标、发展等级等方面的描述DCMM(Data Management Capability Maturity Assessment Model,数据管理能力成熟度评估模型)是由全国信标委大数据标准工作组(国家工信部信软司主导,多家企业和研究机构共同组成)研发,并于2018年3月15日正式发布,是我国数据管理领域最佳实践的总结和提升。
DCMM模型是一个整合了标准规范、管理方法论、评估模型等多方面内容的综合框架,他将组织内部数据能力划分为八个重要组成部分,描述了每个组成部分的定义、功能、目标和标准。
该标准适用于组织在进行数据管理时候的规划,设计和评估,也可以作为针对信息系统建设状况的指导、监督和检查的依据。
1.2、DCMM结构组成:DCMM模型,按照组织、制度、流程、技术对数据管理能力进行了分析、总结,提炼出组织数据管理的八大过程域,即:数据战略、数据治理、数据架构、数据应用、数据安全、数据质量管理、数据标准、数据生命周期。
这八个过程域共包含28个过程项,441项评价指标。
2、关键领域定义组织数据能力被综合定义为八大一级过程域,其中每个一级过程域又有若干二级过程域来组成, DCMM中通过对每个二级过程域的概念、目标以及功能的定义来标准化组织数据管理的过程。
在进行数据能力评估的过程中,每个一级过程域相互独立,可以独立开展评估,但是,在实际的管理过程中,每个一级过程域又相互支撑,需要统一全面开展才能完善数据管理体系。
数据战略:数据战略规划、数据战略实施、数据战略评估数据治理:数据治理组织、数据制度建设、数据治理沟通数据架构:数据模型、数据分布、数据集成与共享、元数据管理数据应用:数据分析、数据开放共享、数据服务数据安全:数据安全策略、数据安全管理、数据安全审计数据质量:数据质量需求、数据质量检查、数据质量分析、数据质量提升数据标准:业务数据、参考数据和主数据、数据元、指标数据数据生存周期:数据需求、数据设计和开放、数据运维、数据退役2.1、数据战略数据战略是组织中数据工作开展的目标指引,定义组织数据工作的方向、愿景和原则。
2018年系统元数据管理系统分析1. 现状分析随着经营分析系统规模不断扩大,系统所积累数据量也越来越大,收集到的海量数据背后隐藏着大量珍贵重要的信息,但也同时提高了系统的数据管理难度:一方面难以对这些数据进行有效解释,缺乏对业务流程执行的实时监控和管理;另一方面各部门数据与数据整合的难度也不断加大,影响到了经营分析系统中的数据质量。
如何对现有数据进行深层发掘,并揭示出埋藏在元数据中的趋势、因果关系、关联模式等核心信息?这是下一步深化经营分析系统应用的电信运营商需要解决的头等大事。
构建BI,首先要保证的是数据质量。
元数据管理解决的问题就是如何把业务系统中的数据分门别类地进行管理,并建立数据与数据之间的关系,为数据仓库的数据质量监控提供基础素材。
1.1 目前的困境使用者(决策层、业务分析人员):1) 经营分析系统中存在有很多报表,不同报表中存在一些相同的指标,这些指标往往不一致,给业务分析和决策工作造成很多困惑,必须花费很大的精力去检查核实。
2) 对于很多指标,不清楚其具体含义,不清楚其反映的问题,不清楚其具体算法和来龙去脉。
数据仓库项目开发维护者:1) 不同报表中的同一指标不一致,必须花费很大的精力去检查,目前基本上是通过手工检查表和存储过程的方式,效率较低。
2) 没有完善的开发、维护规范。
比如,新增一张分析报表,开发人员根据业务人员的需求制作完成之后,往往没有整理完善相应的数据指标解释和元数据管理,造成日后检查困难。
3) 开发、维护规范的执行力较低,没有行之有效的管控手段。
不严格按照规范执行,随着项目的发展和时间的推移,导致数据仓库项目的健壮性和可维护性呈几何级数下降,给数据仓库的建设带来大量的重复工作。
1.2 什么是元数据管理元数据最本质,最抽象的定义为:data about data (关于数据的数据)。
而对于经营分析数据仓库而言,形象的定义为:元数据就是数据仓库的规范。
这些规范包括对各种指标的定义、解释;包括对各表中数据的来龙去脉、数据的大小和格式的定义。
元数据管理,就是要建立一套行之有效的规范以及该规范的管控体系,实现从管理到查询到综合分析的全面管控,管理层次从接口到ETL处理、业务逻辑处理、结果展现处理和指标分析的方方面面,构成数据仓库应用系统的核心和基础。
做到开发者能严格遵守规范,维护者和使用者有规范可查,有力的保障数据仓库项目的健壮性和可维护性。
2. 目标分析要走出目前的困境,有下面三个方面的问题急待解决:2.1 建立完善的指标解释体系满足用户对业务和数据理解的需求,建立标准的企业内部知识传承的信息承载平台,建立业务分析知识库,实现知识共享。
能够回答诸如以下问题:什么是出帐用户数?在网用户数和网上用户数有何区别?什么是套餐的生命周期?竞争对手新发展用户数是怎么得来的?这个数据还叫什么名字?…………2.2 建立规范的元数据管理体系让用户能够清晰的了解数据仓库中数据流的来龙去脉,业务处理规则、发展情况等,提高系统的可维护性、适应性和集成性,支持数据仓库/集市的成长需求,减少因员工换岗造成的影响。
具体来讲,主要是对数据仓库建设、运行和维护的规范的管理。
能够回答诸如以下的问题:哪张表是从业务系统抽取过来的原始话单表?竞争对手新发展用户事实表中的数据,是从哪些表汇总计算出来的?DW用户下的P_XXX 这个存储过程是谁写的,现在还有用吗?我是新手,要生成套餐生命周期演化分析事实表,我该怎么做?表空间不够了,哪些表的数据可以删掉?…………2.3 建立有效的数据稽核体系促进数据仓库的数据质量建设,为提高整个系统的数据质量奠定坚实的基础。
建立报警、监控机制,出现故障,能及时发现问题。
提供整体系统运营的情况分析。
能够回答诸如以下问题:今天的出帐用户数过高,是怎么回事?数据集市层中的 DM_XXX 表中数据为空,什么原因?A报表中的全省ARPU值和B报表中的ARPU值为什么不同?…………3. 功能概述3.1 元数据管理对数据仓库的层次结构、主题域划分,各层的各种对象,如表、存储过程、索引、数据链、函数和包等的管理。
能够清晰的展现各层次结构之间的数据流程,图形化展现各对象之间的关系,展现表中数据的来龙去脉。
3.1.1 业务元数据业务元数据包括以下信息:使用者的业务术语所表达的数据模型、对象名和属性名;访问数据的原则和数据来源;系统所提供的分析方法及公式、报表信息。
业务元数据管理除了管理上述信息外,还提供对业务元数据来源的管理和差异性对比功能,使用户能够方便的查询、比较和追溯。
包括两个子模块,指标管理和指标解释接口。
指标管理:主要实现对所有指标的维护功能,维护指标的基本信息、业务规则和技术算法等。
能够展现各个主题分析中的指标,以及指标间的区别等信息。
指标解释接口:提供统一的接口,使用户能够在经营分析系统或CRM系统中,点击任一指标名称,即可查看该指标的详细描述和解释说明。
3.2.2 技术元数据技术元数据是存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库的数据,主要包括数据仓库结构的描述(各个主题的定义,星型模式或雪花型模式的描述定义等)、ODS层(操作数据存储ODS .Operation Data Storage)的企业数据模型描述(以描述关系表及其关联关系为形式)、对数据稽核规则的定义、数据集市定义描述与装载描述(包括Cube的维度、层次、度量以及相应事实表、概要表的抽取规则)。
系统除了维护技术员数据的基本信息外,更以图形的方式展现和管理各技术元数据之间的关联关系和来源。
技术元数据管理主要包括以下几个功能模块:元数据查询:按关键字、分类、主题域名称等维度进行查询,展现该元数据的基本信息,如业务描述、技术描述、计量单位、所属分类等信息。
元数据维护:对元数据的基本信息进行维护,包括增、删、改。
元数据关系查询:展现元数据之间的关系,如:按经营分析数据仓库的各个层次进行展现;按元数据之间的映射关系展现;按元数据的处理流程进行展现等等。
元数据关系管理:对元数据关系进行维护,包括增加、删除和修改。
如上图所示,鼠标右键点击某个节点,对该节点进行增、删、改操作。
3.3元数据分析血统分析、影响分析、表重要程度分析、表无关程度分析等等。
通过上述分析,让用户对整个数据仓库总体上有清晰的认识和理解,解决数据孤岛的问题。
3.3.1 血统分析数据血统-Data Lineage,通过数据血统分析,用户可以知道数据何时更新、如何计算以及从何处而来,所有这些手段帮助用户追溯报表中数据产生的来源。
这种深入洞查数据来龙去脉的能力对于帮助用户更加信赖他们的信息来说,具有至关重要的作用。
移动大客户信息展现移动新入网用户信息展现3.3.2 影响分析影响分析关注的重点是数据的流向,提供端对端影响分析,使您能够看见源系统发生变化时,BI报表受到的影响,而因此可以轻松地处理BI环境中的变化。
移动大客户信息表竞争专题>>用户分析竞争专题>>策反高层决策>>市场分析移动用户话务信息表处理大客户信息竞争专题>>大客户明细高层决策>>竞争对手3.3.3 重要性分析分析BI 系统中,用户最关心的分析主题、报表和指标,追溯这些分析主题、报表和指标涉及到的元数据,这对于BI 系统和数据仓库开发团队具有重要的指导意义。
分析各元数据对象之间的关联密集度,分析数据仓库中各层次的包、表等对象的重要程度,指导数据仓库开发和维护团队对重点元数据进行重点关注和质量监控。
目标元数据对象 前端展现专题分析模块移动用户通话详单处理新入网信息沉淀话务信息移动用户话务移动新入网用户处理策反用户策反用户信息处理移动大客户移动大客户汇总话务信息互通话务信息分析联通用户话务与移动互通用户话务信息3.3.4 无关性分析与重要性分析相反,随着数据仓库系统的规模不断扩大,业务需求的日益变化,会产生一定数量的无关数据、信息和报表,找出这些无关的内容,结合业务需求分析其产生的根源,从而为用户简化工作负载,降低项目总拥有成本,为用户提供可信赖的数据和分析能力。
3.4数据稽核根据预先配置的规则、算法和质量检查度量,对数据的准确性、合理性等多角度的检查,以及时发现问题,解决问题。
对于稽核结果,进行统计分析,形成结果报告,为以后的数据仓库建设、实施和维护的改进打下坚实的基础。
3.4.1 稽核规则管理接口数据检验:对接口数据的过程进行稽核和校验,分为文件接口,DB-LINK接口,其他异构数据库接口。
处理过程检验:对数据处理过程进行监控和稽核,分为JOB稽核,工作流稽核,其他处理方式稽核等。
处理环境检验:对数据处理环境进行检查,针对不同的应用环境,主要分为数据库系统检查、主机系统检查、接口机检查、应用服务器检查。
日志监控:在ETL自动运行的过程中可能出现各种各样的错误,比如 ETL过程申请的资源超过硬件的物理限制(存储不足或者排序空间不足)。
通过检测ETL过程的日志可以判断出该过程输出的目标表数据是否完整。
提供选择日志监控的各种信息供选择,如:过程名、所属模块(营业数据、计费数据、维表数据等)、执行时间、完成时间、执行时长、执行用户、执行结果、预警等。
维度检验:如:所属模块(营业数据、计费数据、维表数据等)、日期、表名、维度名称、纬度格式、纬度说明、纬度关联编码表、各纬度记录分布情况、是否有空值、空值记录数、空值率、预警区间等指标。
指标值检验:包括数据量校验、单指标校验、交叉校验等。
3.4.2 稽核任务调度在设定数据稽核的模板后,可以对稽核任务实行自动化处理,也可以通过定制方式来完成,可以定时调用或触发。
由不同类型数据检验确定。
比如:前序数据(计费营帐数据),可以使用定时调度任务检查数据完整性,后序数据(DW层数据直到数据集市展示层的汇总数据)的调用可以通过日志记录触发开始,每个表记录完成后如果日志检测执行正确,则进行进一步的数据稽核检测。
3.4.3 稽核结果分析对于稽核的结果,进行统计分析,回答经典的“4W”问题:该报表是否异常、该报表在哪里发生、该报表什么时候发生异常和为什么该报表会发生异常?3.4.4 数据质量评估对数据稽核结果及导致该结果的原因进行统计分析,评估数据仓库维护和管理工作的质量,这对于数据仓库的开发和维护具有重要的指导意义。
3.4.5 数据问题管理对系统使用者或数据仓库开发者遇到的问题及解决方案,进行收集和整理,形成知识库,便于用户咨询,同时也提高开发团队的效率,避免很多重复工作。