数据质量管理浅谈
- 格式:docx
- 大小:16.77 KB
- 文档页数:5
浅谈数据统计分析在物业管理的应用作者:吴伟斌来源:《企业文化·中旬刊》2017年第01期物业管理服务的过程和产品之中存在许多差异化的现象,物业管理企业可以通过巡视、抄表、计量、测试、质检、盘点、调查等各种手段来广泛获得这些数据。
这些数据获得之后,如何加以充分、有效的利用是一个亟待解决的问题。
在ISO:9000及9001中的统计技术和数据分析条款里,为我们提供了应用指导原则。
物业管理数据统计工作目的是通过对日常管理工作和活动的数量特征和数量关系,揭示物业管理的本质和规律。
ISO:9001在数据分析中,指出了数据来源和分析的范围。
包括:“a.顾客满足;b.与产品要求的符合性;c.过程和产品的特性及趋势,包括采取预防措施的机会;d.供方”。
根据物业管理的特点,在使用中可将统计的对象分为以下四类:物业管理和服务的质量;客户对服务满足度的反馈;员工素质及内部管理;经营效益。
一、统计数据的收集在物业管理实践中,就是要通过日常物管人员对经营,服务,管理中的大量数据的采集,整理,分析,计算,直观地表现出工作水平和工作质量,找出失误的变化规律,分析对比后用以指导实践工作。
在设置个体的统计对象时,对客户满足度、物业收费率、能耗数量、物资耗材与库存等定量化数据可直接采集。
但还有一些定性化的信息,就需要有一个定性向定量转化的过程。
统计分析是将统计调查和统计整理的结果通过各种对比,通过动态数列,指数指标分析等方法进行深入的总结分析,形象的事物变化的规律。
从质的角度剖析事物变动方向和变动程度,及时发现和纠正偏差。
二、建立实施统计分析的前提条件统计的标准是实施统计的依据。
统计标准的设定应与管理项目的服务需求相适宜,并具有权威性。
统计标准的取得,可以引用国家、政府或行业规定的标准。
如政府对供暖和制冷温度规定的标准,对绿化养护所制定的标准,以及引用物业创优规定的建筑物和设施设备完好率、客户报修到场时间、客户满足率、物业管理费收费率等标准。
浅谈提高统计数据质量的措施【摘要】随着经济、社会发展和信息传递速度加快,社会各界对我国政府统计机构公布的数据关注度加强。
统计法》颁布实施以来,我国的统计工作逐步进入法制化轨道,但统计工作中统计数据弄虚作假、有法不依、执法不严的现象在某些方面还比较突出。
因此,加强依法统计,提高统计数据质量是做好统计工作的当务之急。
【关键词】统计数据;质量;问题;措施统计数据质量是统计工作的生命,是发挥统计信息、咨询和监督三大职能的基石。
随着时代的进步和经济的发展,统计数据在经济生活中发挥着越来越重要的作用。
而我们需要的是准确、真实和灵敏的统计数据,因此我们要始终不渝地把提高统计数据质量问题摆到统计工作的首要位置,并采取综合治理措施,切实抓紧抓好。
1统计数据常出现的质量问题1.1准确性差这是最常见的统计数据质量问题,也是危害最为严重的数据质量问题。
造成统计数据虚假的因素有很多,最常见的有以下几种:有意虚报、瞒报,指标制定不严密.统计制度不完善、不配套等。
如有的基层干部为突出政绩,谋求升迁,采取虚报数据或想当然估算数据上报。
这些情况使得人们对数据的客观真实性发生质疑。
1.2时效性和方便性差不同行业或者规模的单位或者部门,会计核算和统计核算存在很大差异,互联网是目前查询统计数据最方便快捷的途径之一,但有的政府统计部门网站上统计数据查询栏目不仅时效性差,而且有些年份或月度根本没有数据。
此外,由于目前地方统计数据的公布缺乏国家统一的标准,各地方基本上是各自为政,在分析研究不同地区经济社会发展情况时,在互联网上查询到的统计数据经常是“缺东少西”,统计人员很难从正常渠道获得相关指标,加上数据是事后统计的,无法及时开展调查和分析,信息的时效性滞后严重。
1.3完整性和适用性不强和实践工作中未能使经确定的统计指标,在短期内保持稳定或者在没有充足的理由的情况下随意变更统计指标,不能保证整个体系的完整和数据的衔接。
计方法、指标含义、口径上不统一,或者指标含义模棱两可,未能或没有对其做出清晰的界定,致使使用者无法根据需要对数据进行调整,难以实现数据在时间序列上的可比性,或者有可能由于对指标的误解而滥用数据。
浅谈环境监测采样质量管理对策和建议随着环境问题日益突出,环境监测采样质量管理成为保护环境和人类健康的重要措施。
环境监测采样质量管理对策和建议是保证监测数据准确性和可靠性的基础,也是环境治理和保护的关键环节。
本文将从环境监测采样的重要性、存在的问题、针对性对策和建议等方面进行浅谈。
一、环境监测采样的重要性环境监测采样是环境监测工作中的重要环节,通过对大气、水体、土壤等环境介质中污染物的采集、分析,可以获取环境质量的实时数据,为环境保护和污染治理决策提供科学依据。
具体而言,环境监测采样的重要性主要体现在以下几个方面:1. 为政府制定环境治理政策提供依据。
通过环境监测采样可以准确了解环境污染物的种类、分布和浓度,为政府制定相应的环境保护政策提供科学依据。
2. 监测环境质量变化。
通过定期的环境监测采样可以全面了解环境质量的变化情况,及时发现环境污染问题,预警和预防环境突发事件的发生。
3. 评价环境治理效果。
环境监测采样可以评价环境治理措施的效果,为环境治理决策提供科学依据。
二、存在的问题当前环境监测采样质量管理中存在一些问题,主要表现在以下几个方面:1. 采样点设置不合理。
部分环境监测采样点设置不合理,导致监测数据的准确性和可靠性受到影响。
2. 采样方法不规范。
部分环境监测采样方法不规范,导致监测样品的质量无法得到保障。
3. 人员技术水平不高。
环境监测人员的技术水平参差不齐,部分监测人员缺乏专业技能和经验,影响采样质量。
4. 仪器设备不完善。
部分环境监测机构的仪器设备不完善,无法保证监测数据的准确性。
三、对策和建议5. 规范监测数据管理。
建立健全的监测数据管理制度,规范监测数据的收集、传输、存储和报送流程,确保监测数据的真实性和可靠性。
6. 强化监督管理。
加强对环境监测采样质量管理工作的监督和检查,确保环境监测采样质量管理工作的有效开展。
以上对策和建议是为了改善环境监测采样质量管理中存在的问题,保证监测数据的准确性和可靠性,为环境保护和污染治理提供科学依据和技术支持。
浅谈质量管理体系建设的意义和认识随着时代的发展,社会的进步,人们对生活的要求也日益提升,对日常生活中所涉及到的产品质量也更加的关注。
产品质量是人们生活质量的保障,与人们的日常生活和工作息息相关,当产品质量出现问题,将导致人们物质和精神方面的不必要的损失,甚至引发安全事故,对社会的危害极大,需要严厉制止。
我们检验检测机构主要就是针对建筑工程中所用建材产品的质量,向社会出具具有证明作用的数据和结果。
其数据是判定工程质量是否合格的主要依据,可见其过程是否科学,公正,准确的重要性。
可是当前建筑工程检测行业的实验室乱象丛生,一些检验检测机构内部管理混乱,规章制度形同虚设,因此在检验检测机构的日常工作中质量管理体系的建立和运行尤为重要。
1.建立和实施质量管理的意义一个组织为实施和达到其目标的活动,均需要管理,没有管理就不可能正常运行。
管理更是多方面的,当管理参与到质量活动中时,即为质量管理。
质量管理在组织中对质量方面的工作起到指挥和控制的作用。
通常包括质量方针和质量目标以及质量控制,质量保证和质量改进等活动。
为实现质量方针和质量目标,及相关质量活动的有效进行,就必须建立相应的质量管理体系。
建立质量管理体系是实现质量管理的必要前提。
一个合格的质量管理体系是可以帮助组织提高客户满意度的,它的作用可以通过组织对客户需求的分析,制定相关的流程,并保证其持续受控。
体系还要能提供持续改进的框架,保证组织能够持续提供满足要求的产品,提高组织与客户对体系的信任度。
2.质量方针和质量目标的要求质量方针是由组织的最高管理者正式发布的该组织总的质量宗旨和方向。
质量目标是组织在质量方面所追求的目的。
建立质量方针和质量目标是组织关注的焦点,是组织的质量管理体系利用其资源要达到的结果。
要制定一个切合实际,满足要求的质量方针和目标,对内可用于形成全体员工的凝聚力,对外可显示组织在质量领域的追求,以取得客户的信任。
质量方针和质量目标应在质量管理体系文件中明确阐述,并使所有相关人员理解并有效实施。
浅谈工程质量监督数字化发展的难点及对策摘要:随着城市建设的蓬勃发展,工程质量形势不容乐观,作为一种新型的监督管理手段,工程质量监督数字化的研究正在积极地进行之中。
但是,各地的思路不一、水平参差不齐,数字化的发展还受到很多因素的制约,总体进展较慢。
通过调查,本文分析了当前数字化研究的现状,剖析其发展的难点,并提出解决的对策,供同行参考。
关键词:工程质量监督数字化现状难点对策1、引言近年来,国际建筑信息化、数字化对我国建筑业产生了强大的冲击,工程质量监督机构为了适应形势,从提高科技含量入手,优化人力资源,切实提高工作效率,加强政府监管,将工程质量监督引入网络化、数字化的轨道,提出了“数字质监”的构想。
工程质量监督数字化的实现,可以大大增强依法行政的能力,能够更好地为公众服务,为建设行政主管部门提供决策依据,以推动整个建筑业的健康发展,使工程质量状况纳入政府科学监控之中。
2、工程质量监督数字化的国内现状分析结合2011年江苏省质监总站向全国质量监督系统发放调查问卷结果,分析国内现状如下:各级部门对工程质量监督数字化建设的重视程度在逐步提升,部分城市已开发并在实践中发挥着较显著的作用,但是,总体说来,数字化的水平普遍还不高,各地发展不平衡,监督机构本身数字化开发的实力不强,经费十分有限,数字化人才极其缺乏,数字化建设的方向和内容不十分明确,另外,由于工程质量监督模式目前处于不稳定的探索期,也影响了数字化的开发,即使已研制成功的监督系统多为孤立型,与其它部门的系统不联网,功能局限性大,信息资源不丰富,门户网站的服务性较弱,与公众双向互动沟通的效果不明显。
3、工程质量监督数字化建设的难点3.1资金短缺,数字化建设及推进难以保障数字化建设是一项高技术、高投入、高效能的现代化基础建设,必须要有足够的建设经费作保障。
不仅开发研制需要足够的资金投入,硬件设施以及后期维护等都需要一笔可观的专项经费。
自2009年全国工程质量监督费取消后,很多工程质量监督机构的性质和地位还没有明确,经费困难已是通病,有些质监机构人员的收入下降很多,更不容易有充足的经费进行数字化建设。
浅谈质量管理的方法与思路摘要:在当今社会形势下,人们越来越关注产品质量和客户的满意度,因此一个企业的生存与发展就更加离不开产品的质量及其管理。
如今我国实施的质量管理标准主要有ISO 9001和ISO/TS 16949,这些质量管理标准为企业实践质量管理提供了一定的要求与目的。
本文主要通过对质量管理现状进行阐述,提出了质量管理的五大思路和“七种QC工具”,并对我国质量管理的未来发展提出了些许建议。
关键词:质量管理现状方法思路建议质量管理是为了使产品的质量不断提高,使其达到客户的要求,会针对产品进行一系列的策划、组织、实施、控制、检查、审核和改进等相关管理活动。
目前,我国的企业在进行质量管理的的过程中还存在着诸多问题,具体表现在以下几个方面:第一,技术问题导致许多产品质量达不到合格标准;第二,缺乏一套彻底完善的标准对产品进行严格的质量管理;第三,人为的操作失误引起了诸多质量问题。
由于这些现状的存在,就迫切驱使我们对产品质量管理的方法及其思路进行进一步的思考。
1 质量管理的思路(1)螺旋曲线。
螺旋曲线最早是由美国的质量管理大师朱兰提出来的,他主要主张用一条螺旋上升的曲线来表示产品质量产生、形成和实现的过程。
这种质量管理思路由于应用的局限性,现在已经很少被采用。
(2)质量循环。
质量循环仅仅表示了产品质量的形成过程,因此在实际的应用过程中,存在着诸多弊端,因而应用也不是很广泛。
这种质量管理思路最先是由瑞典的桑德霍姆提出的。
(3)零缺陷。
零缺陷的概念最早是由克罗斯比在20世纪60年代提出的。
他的主要观点就是“开头就要开好”,并且反对“缺陷总会存在”这一主张。
在后期,他发表了一篇关于“质量就是节约费用”的著作。
在这本书里,他通过一些浅显易懂的语言对质量管理的专业术语进行的详细解释,并且取得了很好的效果。
(4)全面质量管理(TQC)。
全面质量管理(TQC)是在20世纪60年代由美国的费根鲍姆最早提出的。
全面质量管理的具体定义为:在最大程度满足顾客的前提下,用一种最经济实惠的手段,进行一系列市场调研、产品制造与销售、售后服务等活动,并把在这些过程中涉及到的各个部门具体的质量管理活动构造成一个统一有效的体系,以发挥各部门质量管理的最大功用。
浅谈国网公司数字化转型过程中数据治理的价值与意义摘要:本文主要探讨了数字化转型过程中数据治理的价值和意义,分析了数据治理的目标、重要性、分类管理以及数据感知能力、数据质量提升、数据治理安全与隐私等方面,并结合电网公司的实际情况进行了应用实践分析。
研究表明,数据治理对于电网公司数字化转型的成功至关重要,有助于提高数据的质量和价值,降低企业风险,提高决策效率和质量,保障数据的安全性和隐私性。
本文旨在为电网公司数字化转型中数据治理提供有益的参考和指导。
关键词:数字化转型、数据治理、企业风险、决策效率、数据安全、隐私保护引言:随着信息技术的不断发展,数字化转型成为企业提升效率和竞争力的重要手段。
在电力行业,电网公司作为重要的基础设施运营企业,数字化转型对于提高电网的运行效率、保障电力安全、改善服务质量等方面有着重要的作用。
然而,数字化转型需要依托于大量的数据,而数据的有效性和可靠性又依赖于数据治理的支撑。
因此,本文将探讨数字化转型中数据治理的价值和意义,以电网公司为例,分析数据治理的目标、重要性、分类管理等方面,并探讨如何应用数据治理提升电网公司的数字化转型水平。
一、数据治理的目标1.1 数据规范化:数据规范化是指将数据按照标准化的格式进行存储和管理,以保证数据的一致性和可读性。
数据规范化可以使数据的格式、命名、分类等方面达到一致性,避免数据重复、数据错误等问题的发生,提高数据的可维护性和可管理性。
1.2 数据一致性:数据一致性是指在不同的应用场景下,数据的表现形式、解释方式、计算方法等方面达到一致,保证数据的可靠性和准确性。
数据一致性可以避免不同系统或应用程序之间数据的冲突和不一致性,保证数据的正确性和完整性。
1.3 数据准确性:数据准确性是指数据能够正确反映所描述的实体或事件的特征和属性。
数据准确性是数据质量中最基本和最重要的方面之一,准确的数据可以提高决策的可靠性和效率,避免因为错误的数据而做出错误的决策。
包金玉近年来,我国统计工作取得了比较显著的成绩。
从总体上来看,我国现有的统计数据,基本上还是能够反映客观实际的。
但是,随着社会主义市场经济的不断发展,经济结构复杂化,利益主体多元化,再加上体制转化过程中经济秩序混乱,人为干扰增多,搞准统计数据的难度也就日益增大,统计失实的潜在危险性也就日渐严重。
对此,我们必须要有清醒的认识,要始终不渝地把提高统计数据质量问题,摆到统计工作的首要位置,并采取综合治理措施,切实抓紧抓好。
1、统计数据质量控制的意义企业统计的目的是为企业经营决策管理提供统计信息。
在市场经济条件下,企业经营决策极具风险性,风险产生于不确定性并由不确定性程度决定风险的大小,而不确定性又与信息的准确和及时程度直接相关,信息愈准确及时,不确定性愈低,反之,亦然。
所以,准确性和及时性是对统计资料的两项基本要求。
其中,准确性的要求是第一位的,是统计工作的生命。
它确定着统计资料是否有效和价值的高低,是衡量统计数据质量的根本标志。
准确可靠的统计数据,便于决策和管理者正确地把握形势,客观地剖析问题,从而作出科学的决策。
2、常见的统计数据质量问题及分析2.1统计数据虚假。
这是最常见的统计数据质量问题,也是危害最为严重的数据质量问题。
2.2拼凑的数据。
这种数据是把不同地点,不同条件,不同性质的数据在收集、加工、传递过程中,人为地拼凑成同一时间、地点、条件和性质下的同一数据。
2.3数据的逻辑性错误。
这是指统计资料的排列不合逻辑,各个数据、项目之间相互矛盾。
2.4数据的非同一性。
它是指同一个指标在不同时期的统计范围、口径、内容、方法、单位和价格上有差别而造成的数据的不可比性。
2.5统计数据不完整。
这里指调查单位出现遗漏,所列项目的资料没有搜集齐全,不符合统计资料完整性的要求。
3、统计数据失真的原因3.1现行统计管理体制使统计工作易受到行政干预。
我国的统计机构目前还是各级地方政府的一个组成部分,受地方政府和国家统计局的双重领导。
浅谈质量管理体系中的过程及过程方法摘要:科技在快速的发展,社会在不断的进步,本文介绍了基于风险思维和PDCA循环的过程方法在质量管理体系建设过程中的应用,将质量管理体系中的过程方法融入产品实现的业务过程中,实现对产品全生命周期质量管理的预防和过程控制。
通过对质量管理体系运行情况进行总结,明确改进方向,满足各方需要。
在质量管理中应用过程方法能够提升管理的有效性,并能够促进体系的持续改进。
关键词:质量管理;体系;过程方法引言质量管理体系将顾客的需求及产品实现、监视测量分析和改进等一系列过程有机结合,运用一系列的过程方法形成了完整的系统化的管理体系。
企业在生产、服务过程中,要追求稳定的或持续提升的质量,需要对每一个环节和过程利用过程的方法进行质量管理。
通过过程的策划、过程方法的实施,形成闭环,检查分析问题,改进管理,有效的指导生产和服务,从而完善每一个环节和过程的工作,提高生产、服务的水平,进而提高产品和服务的质量,不断满足顾客的需要。
一、质量管理体系过程和过程方法的概念内涵GB_T 19000—2016《质量管理体系基础和术语》中将过程定义为:利用输入实现预期结果的相互关联或相互作用的一组活动。
过程强调输入和输出之间的转换。
转化的条件是资源,通常包括人力、设备设施、物料、环境等资源。
过程具有相互管理的活动和输入,以实现输出。
将企业的各项活动作为互相关联、功能连贯的过程组成体系来理解和管理,可以更加有效和高效的得到与预期比较一致的结果。
这种过程方法使组织能够对其质量管理体系的过程之间的相互关联和相互依赖的关系进行有效控制和管理,提高整体绩效。
一般常用PDCA循环和基于风险思维的方法对过程和整个质量管理体系进行管理。
二、过程方法的主要优势系统的识别和管理组织实施的各项过程,特别是这些过程之间相互作用,充分发挥组织内各种资源的效能,有助于提高组织对关键过程的结果的关注度和识别改进机会的能力;在由协调一致的过程所构成的体系中运用过程的方法,也较为容易得到一致的、可预知的结果;通过过程的有效管理、资源的高效利用及跨职能壁垒的减少,也能够尽可能的提升质量管理体系的绩效;使组织更加能够获得相关方的信任。
浅谈统计数据质量控制体系构建中图分类号:f270 文献标识:a 文章编号:1009-4202(2013)09-000-01摘要统计数据的质量主要指统计数据的准确性。
准确可靠的统计数字,是进行科学决策和科学管理的重要依据。
针对目前有些统计数据失实的现象,本文就该现象产生的原因进行了简要的分析,并针对这些现象提出了相应的措施,为了使基础建设部门统计进一步与国际接轨,增强统计数据的国际可比性,有必要对我国加强统计分析工作,构建统计数据质量控制体系进行系统深入的研究。
关键词统计数据准确性质量一、统计工作的意义统计工作是通过搜集、汇总、计算统计数据来反映事物的面貌与发展规律的。
统计信息有两个鲜明的特点,一是数量性。
即通过数字揭示事物在特定时间特定方面的数量特征,帮助我们对事物进行定量乃至定性分析,从而做出正确的决策。
正因为如此,统计信息正越来越多地和其他信息结合在一起,如情报信息、商品信息等。
二是综合性。
世间一切事物都具有普遍联系。
统计信息从整体上看涉及国民经济各个行业,社会、文化、科技各个领域和人民生活的各个方面;也涉及宏观与微观的各个领域和环节。
利用统计信息,不仅可以对事物本身进行定量定性分析,而且可以对不同事物进行有联系的综合性分析,既可横向对比,也可总结历史预测未来。
二、统计数据质量的主要问题及成因分析(一)统计数据不全是指调查单位出现遗漏,原因是所列项目的资料没有搜集齐全,不符合统计资料完整性的要求。
区或者企业统计力量不足,存在漏统现象,也是造成数据不全原因之一。
数据不全,就不可能反映研究对象的全貌和正确认识现象的总体特征,最终也就难以对现象变化的规律性做出明确的判断。
(二)统计数据失真表现在:一是各专业在统计方法、指标涵义、口径上还存在一定程度上的不统一;专业间统计方法改革不同步;统计范围、口径的理论值与实际值出入有时还比较大;统计与财会在核算周期上还存在一些差异。
二是虚报,瞒报统计数据资料。
数据质量管理浅谈
引言
数据和信息是21世纪的经济命脉。在信息时代,数据被认为是一项重要的
企业资产。
那么有了数据是不是就可以直接转换成价值了呢?答案是否定的。
企业需要对数据进行提炼和加工,最终形成需要的信息,才能用于支持日常
的经营与决策。
数据经过加工形成的信息是否客观地反映了企业的真实情况,这又取决于另
外一项东西——数据质量。
金融企业具有与传统企业不一样的特征。它需要每日,甚至每时每刻对各类
经营指标进行监控和计算,这就需要有更高的数据准确性和及时性进行支撑。因
此它对数据质量的敏感度、依赖度比传统企业更高。
证券行业作为金融行业的重要组成部分,数据质量的重要性不言而喻。那么
证券公司应该如何应对数据质量问题?本文将简要介绍什么是数据、什么是数据
质量、常见的数据质量评估维度、证券公司如何应对数据质量问题等内容。
什么是数据
数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状
态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、
抽象的符号。
它不仅指狭义上的数字,还可以是具有一定意义的文字、字母、数字符号的
组合、图形、图像、视频、音频等,也是客观事物的属性、数量、位置及其相互
关系的抽象表示。例如,“0、1、2...`”、“阴、雨、下降、气温”“学生的档案
记录、货物的运输情况”等都是数据。数据经过加工后就成为。
本文所谈的数据主要指存在于IT系统中的,以计算机存储设备为载体的信
息集合。
什么是数据质量
数据质量是描述数据价值含量的指标。就像铁矿石的质量,矿石的质量高,
则炼出来的钢材就会多;反之,矿石的质量低,不但练出来的钢材少了,同时也
增加了提炼的成本。
常见的数据质量评估维度
1. 完整性
用来描述信息的完整程度。
例如:某公司的人力资源系统中有100名员工信息,其中有50个员工中没
有记载联系电话,这说明该公司人力资源系统的客户联系电话信息存在完整性问
题。
2. 准确性
用来描述数据是否与其对应的客观实体的特征相一致(需要一个确定的和可
访问的权威参考源)。
例如:某公司的人力资源系统中记录了员工A的联系方式为12345,然而该
员工真实的联系方式是56789,这说明系统中记载的员工A的联系方式是不准确
的,存在准确性问题。
3. 唯一性
用来描述数据是否存在重复记录,没有实体多余出现一次。
例如:全国公安联网核查系统中,有两个公民的身份证号码完全一样,这就
说明该系统的身份证号码信息存在唯一性问题。
4. 有效性
用来描述数据是否满足用户定义的条件。通常从命名、数据类型、长度、值
域、取值范围、内容规范等方面进行约束。
例如:某银行的核心系统中,客户A的借记卡余额为-100元,这种现象违反
了银行的业务规则,这说明该银行的核心系统中存在数据有效性问。
5. 一致性
用来描述同一信息主体在不同的数据集中信息属性是否相同,各实体、属性
是否符合一致性约束关系。
例如:某银行在核心系统中记录的客户A的性别是“男”,而在信贷系统中
客户A的性别却是“女”,这说明该银行的这两个系统存在数据一致性问题。
6. 及时性
用来描述从业务发生到对应数据正确存储并可正常查看的时间间隔程度,也
叫数据的延时时长,数据在及时性上应能尽可能贴合业务实际发生时点。
例如:某证券公司于T日购买了1亿国债A,但直到T+10日才看到财务系统
中的持仓变化,这说明该证券公司的财务数据存在及时性问题。
证券行业协会对数据质量的要求
2016年9月13日,中国证券业协会下发了“关于就《证券公司全面风险管
理规范》等四项自律规则修订稿征求意见的通知。在《证券公司全面风险管理规
范》核心修订内容中明确强调了对数据质量的要求。
由此可见,监管机构和行业自律性组织已逐渐意识到数据质量问题已不是个
别券商或机构的问题,而是一个普遍性的行业问题,急待解决。
证券公司如何应对数据质量问题
首先,要提升数据质量意识,这需要确保公司各部门中配备合适的人员了解
数据质量问题的存在。数据质量意识包括能够将数据质量问题与其实质影响联系
起来,同时传达一种“数据质量问题不能仅仅依靠技术手段解决”的理念。在初
始阶段,可以提供一些数据质量核心概念的培训。
其次,为数据质量建立数据治理框架。数据治理是为数据管理的各方面贯彻
责任制度的一系列流程和程序。
由于数据质量低下会导致不正确的信息。数据清洗也许可以带来短期的、有
一定代价的改善,但并不解决数据缺陷的根本问题。如果考虑为提升数据质量提
供较为经济的解决方案,实施更加严格的数据质量项目是必要的。
在实际项目中,问题不仅仅包含校正数据,同时还包括管理数据创建、数据
转换和数据传输等整个数据生命周期,从而确保生成的信息满足风险数据消费者
的需求。
将数据质量管理和质量提升等流程制度化,取决于识别风险管理工作对高质
量数据的需求和确定如何度量、监控和报告数据质量的最佳方式。在发现数据处
理过程中的问题之后,需要通知相应的数据管理专员采取校正措施以便解决紧急
问题,同时,需要采取措施消除问题的根源。
数据质量管理是一个持续的过程,为满足风险管理需求的数据质量标准指定
规格参数,并且保障数据质量能够满足这些标准。数据质量管理包括数据质量分
析、识别数据异常和定义风险数据质量需求,还包括在必要的时候对已定义的数
据质量规则进行合规性检查和监控的流程,以及数据解析、标准化、清洗和整合。
最后,数据质量管理还包括问题追踪,从而对已定义的数据质量服务水平协议的
合规性进行监控。
数据质量管理的一种通用方法是戴明质量环,戴明(Deming,)是对质量管
理的发展产生巨大影响的大师之一,他提出了被大家所知的“计划-实施-检查-
行动”用于解决问题的模型,该模型对数据质量管理同样有效,它包括:
指定数据质量现状评估计划和识别数据质量度量关键指标。
实施度量和提升数据质量的流程。
监控和度量根据业务预期定义的数据质量水平。
执行解决数据质量问题的行动方案,以提升数据质量从而更好的满足业
务预期。
一个数据质量管理周期的开始包括识别数据质量问题,这些问题是达成业务
目标的关键问题,包括定义数据质量的业务需求、识别数据质量关键维度以及定
义保障高水平数据质量的关键业务规则。
在计划阶段,数据质量团队评估已知的数据问题,包括确定问题的代价和影
响以及评估处理该问题的可选方案。
在实施阶段,剖析数据并执行检查和监控,识别出现的数据质量问题。在此
阶段,数据质量团队可以修复引致错误的流程中存在的缺陷,或者作为一种应急
办法对下游错误进行校正。如果不能在错误的源头进行校正,那么就在数据流中
尽早校正该错误(如:可在风险数据集市中进行校正)。
在监控阶段,根据已定义的业务规则对数据质量水平进行动态监控。只要数
据质量满足可接受度阈值,流程就是受控的,数据质量水平就可以满足业务需求。
然而,如果数据质量下降到可接受度阈值之下,需要通知数据管理专员以便他们
在下一阶段采取行动。
在行动阶段,主要是处理并解决出现的数据质量问题。
当出现新的数据集或对已有的数据集提出新的数据质量需求时,一个新的数
据质量管理周期便开始了。
最后,作为金融企业,应当建立数据质量管理委员会或数据治理委员会,与
各级数据治理角色建立汇报层级关系。数据管理专员负责与业务用户、业务条线
甚至特定应用建立联席,他们持续地提倡数据质量意识并监控其所负责的数据资
产。
结语
数据质量管理是循环管理过程,其终极目标是通过可靠的数据提升数据在使
用中的价值,免除了员工日常处理数据问题的附加工作量,提高了工作效率,更
重要的能够为企业的精细化管理打下坚实的基础,并最终为企业赢得经济效益。
作为一家准备上市的券商,公司在各方面将会面临更加严格的监管。这对公
司披露信息的准确性和及时性提出了更高的要求。我们应该重视数据质量管理,
建立起与之匹配的数据治理体系,提高数据质量。在满足外部监管的同时,加强
内部的管理能力,最终提升公司在行业中的竞争力。