EsDataClean数据质量管理平台产品技术白皮书
北京亿信华辰软件有限责任公司
2016年12月
版本控制
版本历史
目录
1.前言 (2)
2.产品介绍 (2)
3.产品功能 (3)
3.1.规则管理 (3)
3.2.流程管理 (4)
3.3.监控管理 (4)
3.4.结果管理 (4)
3.5.统计分析 (4)
3.6.绩效管理 (5)
3.7.系统管理 (5)
3.8.信息交换 (5)
4.产品特点及优势 (5)
4.1.专业的理论体系 (5)
4.2.丰富的评价算法 (6)
4.3.跨数据源比对 (6)
4.4.问题数据多方式告警 .............................................................................. 错误!未定义书签。
4.5.灵活的数据整改流程 (7)
4.6.支持自动修复策略 (7)
4.7.丰富的统计分析报告 (7)
4.8.知识库自动积累和查询 (8)
5.软硬件环境 (8)
5.1.服务器 (8)
5.2.客户端 (9)
1.前言
面对市场环境和社会压力，越来越多的企业和单位开始重视数据中心的建设，希望通过数据来提高管理水平及竞争力。数据已成为企业和单位最重要的资产，但有许多因素会导致这些“资产”贬值，比如数据的冗余和重复导致信息的不可识别、不可信，信息精确度不够，时效性不强；结构或非结构数据使整合有困难；管理层面的人员变动引发的影响；数据标准不能统一，相关规范不完善造成对数据理解的不充分等等。这导致我们对数据进行汇总分析和数据挖掘时，分析的结果有很大的偏差，为决策来带来了负面影响。
EsDataClean数据质量管理平台正是为了解决这类问题而研发的。通过 EsDataClean，可以及时发现、定位和解决数据仓库建设过程中各环节的数据质量问题，并完成问题数据的流转和处理，同时对数据质量进行评估和监控，有助于不断改进数据质量管理水平，大大提高数据仓库建设效率及展现层的数据可靠性。
2.产品介绍
EsDataclean是我公司自主研发的数据质量管理控制工具，用于解决业务系统运行、数据仓库建设及数据治理过程中的数据质量问题。它以标准化的数据质量规范为基础，运用数据挖掘、数据分析、工作流、评分卡、可视化等技术帮助组织建立数据质量管理体系，提升数据的完整性、规范性、及时性、一致性、逻辑性，降低数据管理成本，减少因数据不可靠导致的决策偏差和损失。
具体目标如下：
?建设灵活性强、可视性强和可操作性强的数据质量管理平台；
?消除现有业务系统的数据质量问题，包括本身存在的技术问题以及逻辑
错误的问题；
?能够辅助用户建设和持续改进数据质量管理体系，形成一种数据质量管
理的长效机制；
?实时掌握数据质量监控情况，定位数据问题，并能及时将问题反馈至相
应负责人；
?评估目标数据的数据质量，进行绩效管理。
系统主要功能包括质量检查规则管理、绩效管理、工作流管理、质量分析报表查询、质量报告等。
图1产品架构
3.产品功能
3.1.规则管理
提供数据质量规则的定义和管理，数据质量规则定义数据质量审核的业务逻辑，是数据质量审核和监控管理的基础。
系统提供了完整性评价、规范性评价、逻辑性评价、及时性评价、重复性评价、外键关联性、波动分析、平衡分析等多种评估方法。各评估方法均采用可视化界面，用户无需编程，即可轻松完成所有规则的建立。
规则定义提供了规则复制和规则模板的功能对规则进行多模型使用，增加了
用户在规则定义过程中的便利性。
规则管理支持按评估方法进行分组，也支持用户自定义分组，并可对定义好的规则进行多角度拓扑展现，使用户对所建立的规则一目了然，协助用户建立完整的质量规则体系。
规则支持自动检查，也支持用户在建立过程中人工检查，通过实时执行的结果可辅助用户调整规则的定义。
3.2.流程管理
数据质量平台参照工作流管理联盟（WfMC）标准设计，提供可视化流程定义界面，通过定义界面可轻松定义问题数据的处理流程，包括发起、催办、转办、退回等。并可根据流程的优先级、最终期限、转派次数进行监控，提供多角度查询功能。
3.3.监控管理
系统支持数据质量检查方案的定义和管理，包括检查范围、检查时间、检查规则、评分规则、评估报表等。方案支持人工调度和自动调度。
3.4.结果管理
通过质量监控，会产生和保存质量结果，包括对象名称、发生时间、违反规则、级别、状态等。系统自动生成每个质检方案的明细结果表，并允许用户根据分析需要对明细结果表字段进行自定义，为用户进行丰富多样的数据质量分析提供数据。
检查产生的结果可通过界面、邮件、短信（需有短信设备）等方式告警，并可自动发起或人工发起问题处理流程。
3.5.统计分析
根据数据质量管理及监控需要，对问题数据进行统计分析，系统内置了多种
形式的问题数据分析功能、统计报表功能及数据质量分析报告。
为了满足用户深层次数据质量分析需要，我们支持用户将基于亿信BI等第三方业务系统分析报表地址配置到数据质量系统进行展示。
3.6.绩效管理
用户在定义规则时，可定义不同规则的分数或权值，通过权值可以对数据质量进行绩效管理与评估。
3.7.门户管理
系统提供门户管理功能，实现数据质量系统资源的统一门户配置和资源的可视化展示，为不同类别的用户提供个性化的门户。
3.8.系统管理
提供系统资源定义、参数配置、用户管理及功能权限等管理功能。
3.9.信息交换
系统支持知识库的自动积累，在发生相同规则的问题时，可查看历史的处理知识库信息，达到知识共享。
系统支持以公告形式发布质量报告，可供查看和下载。
系统支持规则、统计分析、绩效结果的导入导出，进行数据质量管理的信息交换和共享。
4.产品特点及优势
4.1.专业的理论体系
EsDataClean数据质量管理平台，基于麻省理工学院（MIT）的“全面数据质量管理（TDQM）”及戴明“PDMA循环”理论体系，并结合了国内外数据质量管
理研究方法而规划研发，它通过专业的体系建立流程，以专业化的角度帮助机构建立和持续改进数据质量管理体系，提高数据质量。
4.2.丰富的评价算法
系统支持多种评价算法，提供了完整性评价、规范性评价、逻辑性评价、及时性评价、重复性评价、外键关联性、波动分析、平衡分析，以国内领先的评价方法及算法研究技术，为用户提供全方位数据质量保障。
4.3.友好的界面操作
系统具备友好的交互体验，无需专业的数据库工程师参与，普通用户即可完成规则定义等关键操作。
4.4.质量绩效评估
质量绩效评估是质量管理的重要环节，用于量化数据质量情况，激励数据质量的提升。EsDataClean支持用户定义评分依据和权重，并可按照字段、表、规则类别、关键字等粒度生成质量评估结果。
4.5.跨数据源比对
系统支持业务系统建设、数据仓库建设各重要阶段设置数据检查监控点，并能实现跨监控点、数据源的比较分析。通过常规的规则定义的方式可实现etl 前后的数据一致性比对等。
4.6.多告警方式
对质量检查的结果提供多方式（界面、邮件、短信）方式告警，让用户及时了解到系统检查结果，避免重大问题的延误。
4.7.灵活的数据整改流程
数据质量管理平台参照工作流管理联盟（WfMC）标准设计，用户可自行定义整改流程，可实现问题分发给数据责任人，并可实时监督流程处理的状态。根据流程的优先级、最终期限、转派次数等提供多角度查询功能。
4.8.丰富的质量分析
EsDataClean提供了多种质量分析报表，辅助用户对问题数据进行质量分析，以便用户进行有针对性的质量改进。
●综合分析按各类维度综合展示数据质量情况
●占比分析各类规则问题数占比分析、各表问题数占比分析、重大问题
发生出次占比分析等。
●排名分析各规则问题数排名情况、各表问题数排名情况、数据源问题
数排名情况等。
●趋势分析各类规则问题数趋势分析、各表问题数趋势分析、各数据源
问题数趋势分析等。
●同比环比分析各类规则问题数环比同比分析、各表问题数同比环比分
析、各字段问题数同比环比分析等。
4.9.支持自动修复策略（后期提供）
系统支持多种自动修复策略，包括置为平均值、固定值、删除记录、按表达式修正等，减少人工修改压力。
4.10.丰富的统计分析报告
系统提供了丰富的统计分析报告，按照图文并茂多维度的方式对用户的数据质量情况及绩效情况进行展现分析，通过分析报告能发现数据质量管理的问题，帮助用户改进管理体系。
4.11.知识库自动积累和查询（后期提供）
基于标准的工作流程，当用户处理完问题可添加问题的处理结果和经验，当其他用户遇到相同问题的时，可通过知识库的结果辅助问题的解决，提高解决效率。
5.软硬件环境
5.1.服务器
5.2.客户端
1 行业大数据 电力行业应用特点：基于GIS 组件与动态组件的实时数据监控展示，基于静态组件的多样化报表分析展示。 用电量预测：基于海量历史电量数据，规划区域面积、历史人口、历史国民经济数据、三产比例等变化情况，对区域用电量进行预测，作为进一步规划设计依据。 空间负荷预测：基于全网中各小区的占地面积、用地类型、容积率，行业的建筑面积负荷密度、占地面积负荷密度，小区目标年占地面积、小区目标年建筑面积，总负荷值、行业负荷值等数值，对远景年负荷进行预测。 多指标关联分析：从多个外部系统（如GIS ，PMS ，OMS 等）抓取所需数据的时间一致性切片，进行综合分析利用，从而支持规划设计。 金融相关行业应用特点：基于矢量图组件与动态组件的实时资金交易数据监控展示，基于静态组件的多样化报表分析展示。 资金实时流向分析：重点地区资金流向、重点行业资金流向、频繁且相近额度资金流向、季节资金流向、节假日资金流向、偶尔大额资金流向。 数据辅助征信风控：通过连接大数据(包括P2P 平台、小额信贷机构、征信机构、银行、第三支付、互联网大数据等)、连接不同的应用场景，挖掘和探索虚拟经济形态下的网络和商务平台数据，提供去中心化分布式查询，打破行业内信息各自孤立而形成信息漏洞的现状，高效控制风险。 业务拓展：客户挖掘、精准投放、二次开发、战略指导、全民分析等多种智能分析模型，为管理层的管理决策提供了最直接的数据依据，同时绚丽易读的可视化展现带来了清晰直观的产品体验， 让管理层不再拍脑袋发愁。 电子政务应用特点：基于GIS 组件的基础数据关联展示，基于静态组件的多样化报表分析展示。 整合分析发现群众真实需求，并强化数据预测应用功能，助推政府采取更加人性化、便民化，更有 WYDC Viewer 产品白皮书 四方伟业大数据分析Data Discovery 系列产品 WYDC Viewer 是Data Discovery 系列产品中的数据可视化分析展示平台，本白皮书介绍了大数据平台的基础架构，对 WYDC Viewer 的功能及要求做了简要介绍。 成都四方伟业软件股份有限公司
质量管理信息平台规划报告 面对未来企业发展的需要，对质量管理要求也越来越高，这对系统的研制、协作、管理和质量控制提出了更高的要求。企业在质量控制方面还采用老式的方法和手段，这使得质量信息缺乏控制、不能从整体上对质量信息进行跟踪处理、质量问题的处理低效、不规范；如何更加有效、充分的利用质量信息，为管理决策提供支持，急需建设一套以质量为核心的集成平台。 建设目标 建立质量管理业务运行保障平台； 建立质量信息的集中管理平台； 建立质量系统集成平台； 建立质量运行状态监控、决策支持平台。 总体架构 建立统一标准的系统管理基础平台为质量管理系统提供IT运行的基础，包括任务管理、用户管理、权限管理、日志管理、流程管理、报表定制、质量算法、系统接口等； 质量应用层由设计质量管理、采购质量管理、质量质量管理、市场品质管理等子系统构成，实现了产品全生命周期的质量管理； 质量管理层由质量体系、质量成本、质量改进等子系统构成，保障质
量的日常管理运营； 质量决策层由质量目标、质量监控、仪表盘等子系统构成，是企业质量的门户层，满足管理者对质量监管需要。 功能描述 ●设计质量管理 与研发主业务PDM系统集成，由研发节点展开质量策划工作，找到研发过程的控制点，梳理输入、输出的质量控制要求，对研发过程做设计评审、工艺评审、质量评审，对评审问题进行归零处理，对过程图纸审签、齐套性检查，对评审结果进行质量复查，整体提高研发质量。 ●采购质量管理 由供应商准入开始，形成合格供方名录，日常的评审与评价，供方审核与改进，来料检验的过程管理，理化试验管理，检验结果输出给采购系统入库，建立全面丰富的供应商档案、多维度的报表统计与数据分析，为企业提供供方质量管理科学的依据。 ●制造过程 制造过程是保证产品质量的核心部分，贯彻“预防控制，精益生产”的原则，以型号产品为主线，系统以检验管理为基础，SPC统计过程控制为特色，结合不合格品闭环管理，保障产品实物质量，最终形成产品质量档案，为质量跟踪、追溯、复查提供依据，自动生成产品卷宗、履历本。 ●测量系统 以企业计量管理工作流程为基础，以有效开展计量保证工作为目的，实现计量器具所有的自然状态、管理状态以及维护情况的所有相关信息均能够及时更新、查询、统计。 ●市场品质管理 建立产品外场质量档案，外场问题在线处理，现场派工、返厂维修、培训管理、备品备件管理、客户满意度调查等工作，对外场问题的闭环管理形成外场经验库。 ●质量体系管理
一张图读懂工业大数据 1. 工业大数据 工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。 工业大数据的主要来源有三类： 第一类是生产经营相关业务数据。主要来自传统企业信息化范围，被收集存储在企业信息系统内部。此类数据是工业领域传统的数据资产，正在逐步扩大范围。 第二类是设备物联数据。主要指工业生产设备和目标产品在物联网运行模式下，实时产生收集的涵盖操作和运行情况、工况状态、环境参数等体现设备和产品运行状态的数据。此类数据是工业大数据新的、增长最快的来源。 第三类是外部数据。指与工业企业生产活动和产品相关的企业外部互联网来源数据。 2. 工业大数据的地位 2.1 在智能制造标准体系中的定位 工业大数据位于智能制造标准体系结构图的关键技术标准的左侧，属于智能制造标准体系五大关键技术之一。
2.2与大数据技术的关系 工业领域的数据累积到一定量级，超出了传统技术的处理能力，就需要借助大数据技术、方法来提升处理能力和效率，大数据技术为工业大数据提供了技术和管理的支撑。 首先，工业大数据可以借鉴大数据的分析流程及技术，实现工业数据采集、处理、存储、分析、可视化。其次，工业制造过程中需要高质量的工业大数据，可以借鉴大数据的治理机制对工业数据资产进行有效治理。 2.3与工业软件和工业云的关系 工业软件承载着工业大数据采集和处理的任务，是工业数据的重要产生来源，工业软件支撑实现工业大数据的系统集成和信息贯通。 工业大数据技术与工业软件结合，加强了工业软件分析与计算能力，提升场景可视化程度，实现对用户行为和市场需求的预测和判断。 工业大数据与工业云结合，可实现物理设备与虚拟网络融合的数据采集、传输、协同处理和应用集成，运用数据分析方法，结合领域知识，形成包括个性化推荐、设备健康管理、物品
《城市大数据平台白皮书》解读：智慧城市中的应用 日前，中国信息通信研究院正式发布《城市大数据平台白皮书》，阐述了城市大数据的概念和内涵，分析了建设城市大数据平台对于破解智慧城市建设难题的意义，并介绍了我国城市大数据平台的发展现状。 同时，白皮书还提出了城市大数据平台的通用技术架构，梳理了城市大数据平台的运营模式，并就城市大数据平台发展给出了相应的建议。 什么是城市大数据? 随着数据处理技术的不断进步，人们对于数据应用的意识不断提高，人们生活和各行业运行产生的数据呈现爆发式增长，形成了城市大数据。 城市大数据是指城市运转过程中产生或获得的数据，及其与信息采集、处理、利用、交流能力有关的活动要素构成的有机系统，是国民经济和社会发展的重要战略资源。用简单、易于理解的公式可以表达为：城市大数据=城市数据+大数据技术+城市职能。 城市大数据的数据资源来源丰富多样，广泛存在于经济、社会各个领域和部门，是政务、行业、企业等各类数据的总和。同时，城市大数据的异构特征显著，数据类型丰富、数量大、速度增长快、处理速度和实时性要求高，且具有跨部门、跨行业流动的特征。 按照数据源和数据权属不同，城市大数据可以分为政务大数据、产业大数据和社会公益大数据。政务大数据指的是政务部门在履行职责过程中制作或获取的，以一定形式记录、保存的文件、资料、图表和数据等各类信息资源。产业大数据指的是在经济发展中产生的相关数据，包括工业数据、服务业数据等。 此外，还有一些社会公益大数据。当前，城市大数据多数为政务大数据和产业大数据，所以城市大数据的主要推动者应为一个城市的政府和相关的具有一定数据规模的企业。
为保障城市运转的安全高效，智慧城市建设需要对海量的数据资源进行收集、整合、存储与分析，并使用智能感知、分布式存储、数据挖掘、实时动态可视化等大数据技术实现资源的合理配置。因此，城市大数据是实现城市智慧化的关键支撑，是推动“政通、惠民、兴业”的重要引擎。 新型智慧城市发展面临挑战 数据驱动的新型智慧城市发展面临诸多问题。白皮书认为，虽然当前各级地方政府和企业都在积极探索智慧城市建设，但仍存在着特色不明、体验不佳、共享不足等问题。究其根源在于，未能实现城市大数据资源与城市业务的良好融合。 具体而言，挑战包括三个方面：一是信息系统烟囱林立，阻碍数据共享;二是数据治理普遍薄弱，价值大打折扣;三是数据管理水平不一，缺乏整体联动。 如何应对新型智慧城市建设中的困难和挑战?白皮书认为城市大数据平台的建设能够发挥积极作用，具体表现在三个方面。 一、通过数据汇集加速信息资源整合应用 第一，城市大数据平台建立了数据治理的统一标准，提高数据管理效率。通过统一标准，避免数据混乱冲突、一数多源等问题。通过集中处理，延长数据的“有效期”，快速挖掘出多角度的数据属性以供分析应用。 通过质量管理，及时发现并解决数据质量参差不齐、数据冗余、数据缺值等问题。 第二，城市大数据平台规范了数据在各业务系统间的共享流通，促进数据价值充分释放。通过统筹管理，消除信息资源在各部门内的“私有化”和各部门之间的相互制约，增强数据共享的意识，提高数据开放的动力。通过有效整合，提高数据资源的利用水平。 二、通过精准分析提升政府公共服务水平 在交通领域，通过卫星分析和开放云平台等实时流量监测，感知交通路况，帮助市民优化出行方案;在平安城市领域，通过行为轨迹、社会关系、社会舆情等集中监控和分析，为公安部门指挥决策、情报研判提供有力支持。 在政务服务领域，依托统一的互联网电子政务数据服务平台，实现“数据多走路，群众少跑腿”;在医疗健康领域，通过健康档案、电子病历等数据互通，既能提升医疗服务质量，也能及时监测疫情，降低市民医疗风险。 三、通过数据开放助推城市数字经济发展 开放共享的大数据平台，将推动政企数据双向对接，激发社会力量参与城市建设。一方面，企业可获取更多的城市数据，挖掘商业价值，提升自身业务水平。
1协同设计系统建设意义 1.1建设背景 传统设计管理模式下，延期、返工、变更等情况时有发生，并且普遍性存在，这不仅会增加成本、降低利润，还会降低企业的生产效率。 影响当下进度、质量、成本的因素有很多，系统地解决这些问题的难度很大
1.2建设目标 ?精诚协作－构建交流平台，改变单兵模式，生产全程信息化管理，减少了错漏碰缺，提升设计质量； ?避免返工－上游专业发生变化自动通知下游专业，避免差错与无谓返工； ?集中管理－将散落的资源自动收集起来形成权威过程与成果库； ?安全共享－图档资料、知识资源、涉密资料分别单独存储，没有权限的用户无法检索到，图档资料根据权限只能在线浏览，无法下载、拷贝、修改； ?质量管理－实现设—校—审全程带图电子化管理，杜绝ISO贯彻两张皮； ?过程追踪－图纸版本随校审统一管理，实现电子化圈阅审图与图纸历史追溯； ?远程办公－笔记本/平板/手机/4G上网，领导出差照常办公，不耽误院内生产工作； ?提高效率－自动电子签名，自动图纸比较，自动图纸分析提取图名，自动图纸质量检查进一步提升了设计效率； ?提升管理－工时进度生产过程中动态采集，项目真实情况一目了然； ?建立设计过程的全生命周期的管理，企业领导/设计项目负责人可以随时随地了解设计进展状况、调阅设计图纸（含草图）、查阅办理过程、掌握实时的设计进度信息、质量信息以及标准规范执行的情况。 协同设计平台定位：建立以数据为中心，以“流程+事务”驱动的生产模式。
“协同设计平台”是面向设计生产全生命周期管理的一套软件产品，它以设计项目为管理单元、以设计标准为前提、以设计流程为核心，严格控制设计成果的设计、修改、批阅、校审、出版、签章（盖章）、归档、分享与利用的全过程，达到精细化生产管理的目标。 2协同设计关键技术 2.1支持分布式部署 大型的集团公司一般在全国各地都有分支机构，协同设计系统可以采用分布式部署的方式，即在集团总部服务器部署主文件服务器，在异地的分公司也部署从文件服务器，在不同公司的人员登录协同设计系统的时候，将根据人员所在地来自动调整访问文件服务器的位置。另外系统采用C/S与B/S架构的混合模式，结合屏幕校审、数字签名等技术，打破了地域的限制，实现了各分支机构与总部间的异地协同设计。同时，通过集中—分散同步处理技术，保证了异地协同过程中文件的上传与下载的速度。
数据质量管理 定义： 是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。 目录 1数据质量管理 2数据质量管理评估维度 3分析影响数据质量的因素 4MTC-DQM 数据质量管理的方法与步骤 一数据质量管理 数据质量管理是循环管理过程，其终极目标是通过可靠的数据提升数据在使用中的价值，并最终为企业赢得经济效益。 二数据质量管理评估维度 由于数据清洗（DataCleaning）工具通常简单地被称为数据质量（Data Quality）工具，因此很多人认为数据质量管理，就是修改数据中的错误、是对错误数据和垃圾数据进行清理。 这个理解是片面的，其实数据清洗只是数据质量管理中的一步。数据质量管理（DQM），不仅包含了对数据质量的改善，同时还包含了对组织的改善。针对数据的改善和管理，主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容；针对组织的改善和管理，主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监督审核机制、实施改进、评估改善效果等多个环节。 任何改善都是建立在评估的基础上，知道问题在哪才能实施改进。通常数据质量评估和管理评估需通过以下几个维度衡量。
1 数据质量评估维度 完整性Completeness：完整性用于度量哪些数据丢失了或者哪些数据不可用。 规范性Conformity：规范性用于度量哪些数据未按统一格式存储。 一致性Consistency：一致性用于度量哪些数据的值在信息含义上是冲突的。 准确性Accuracy：准确性用于度量哪些数据和信息是不正确的，或者数据是超期的。 唯一性Uniqueness：唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的。 关联性Integration：关联性用于度量哪些关联的数据缺失或者未建立索引。 2 管理质量评估维度 配置管理Config Management：此维度用于度量数据在其生命周期内的一切资源是否得到了控制和规范，即数据的计划、产生、变更直至消亡的过程中，与数据相关的计划、规范、描述是否收到控制。评估指标包括：评估配置项的细化粒度、评估基线准确度和频度以及变更流程是否合理完善等。 培训 Training：此维度用于度量数据的生产和使用者在数据生命周期内的一切活动中是否经过了知识和技能的培训、培训效果是否满足岗位需要；受训的知识和技能是否经过审核和确认，受训的内容是否与企业文化和价值观一致；培训流程是否合理完善等； 验证和确认Verify & Validation：此维度用于度量数据在其生命周期内是否得到验证和确认。评估内容包括是否通过验证流程确保工作产品（数据）满足指定的要求、是否通过“确认”流程保证工作产品（数据）在计划的环境中满足使用的要求；“验证”和“确认”的流程是否完善； 监督和监控Monitoring：此维度用于度量产生和使用数据的流程在数据的整个生命周期内是否真正受控。脱离监控的信息、技术、计划、流程、制度，会导致数据质量低下。监督和监控的流程是否完善。 三分析影响数据质量的因素 影响数据质量的因素主要来源于四方面：信息因素、技术因素、流程因素和管理因素
目录 一、安全现状及挑战 (2) 1.1安全现状 (2) 1.2面临挑战 (2) 二、安全态势感知系统 (3) 2.1方案概述 (3) 2.2方案内容 (4) 2.2.1典型网络状况 (4) 2.2.2态势感知工作流程 (5) 2.2.3态势感知功能组成 (5) 3、系统技术体系 (8) 3.1系统总体架构 (8) 3.2系统主要功能 (9) 4、系统部署方式 (10) 4.1部门级部署 (10) 4.2企业应用部署 (10) 4.3集团应用部署 (11) 4.4部署要求 (12) 五、系统优势 (12)
一、安全现状及挑战 1.1安全现状 近年来，我国政府和企业信息化建设得到快速发展，越来越多的各类核心业务的开展高度依赖于信息技术应用，信息安全问题的全局性影响作用日益增强。为了保障国内各企事业单位的信息系统安全，国家出台了网路安全法，各行业和相关主管部门也出台了各类信息安全监控、审计作为保障信息系统安全的制度，相关的制度标准包括ISO/IEC17799、COSO、COBIT、ITIL、NISTSP800等。这些标准制度从不同角度提出信息安全控制体系，可以有效地控制信息安全风险。同时公安部发布的《信息系统安全等级保护技术要求》中也对安全监控、审计提出明确的技术要求。 目前，很多政府企业在信息安全保障体系建设方面已经达到了一定的水平，先后建立了非法外联监控管理系统、防病毒系统、补丁分发系统、防火墙、入侵检测系统、漏洞扫描系统等，为客户端安全管理、网络安全管理和系统安全管理提供了技术支撑手段。 1.2面临挑战 目前政府企事业单位通过各类安全产品建立起信息安全保障体系，但当前各种信息安全保障工作相对独立，各自为政，单点的工作开展的多，缺乏有效手段将这些安全工作有效串接，并未形成一个综合防御体系。这些安全设备往往产生大量违反安全策略和安全规则的告警事件，其中不乏大量的重复报警和误报警，且各类安全事件之间分散独立，缺乏联系，无法给安全管理员提供在攻击时序上和地域上真正有意义的指导，加重了安全运维人员的工作负担，所以通过购买更多的单点的安全设备已经无法保证企业的信息安全综合保障能力的提升。
2017年质量管理体系数据分析报告 一、综合概述 2017年集团发展稳中求胜，在建项目管理体系均正常运行，过程均在受控状态。项目的管理、收益、声誉得到改善，提高了公司的市场竞争力。通过对施工过程控制，体现了质量、环境、职业健康安全管理的有效性，使一些管理瑕疵和产品瑕疵得到改进和改正。对体系运行的适宜性和有效性提供了支撑，使企业赢得了良好地信誉和效益。 二、数据分析范围本年度数据分析范围包括所有在建项目和集团体系覆盖范围的管理控制、运行过程有关的信息范围，对数据的收取采取了调查、交谈、现场采集记录等方式。对体系覆盖的绩效、监视结果、资源配置情况等相关数据进行了评价。 三、数据分析过程数据采集监控点放在施工组织设计、工期进度、施工过程、产品质量抽样等关键点上。得出了施工组织的策划率、进度偏差、工序检查合格率、分部分项合格率、强度合格率、不合格纠正预防控制率等数据。分析得出了企业项目管理的实用信息，产品的符合性及其趋势。 1、施工组织设计 施工的组织设计采取项目经理组织项目编制，分公司技术负责人审核批准后报集团总工程师审批的控制流程。检查项目的施工组织设计编制率100%，审批率100%。建筑产品从管理源头上得到了有效
控制，重难点专项施工方案项目组织专家进行评审。施工组织设计得到业主、监理审批并备案。 2、施工进度 项目的施工进度与合同工期比较都有拖延，拖延率达100%。其中原因各不相同。有业主征地滞后拖延工期、有气候（雨、雪）原因拖延工期、有业主设计优化更改设计造成工期拖延、有工程款支付不到位停工（待工）造成工期拖延、有甲供材料不及时停工待料造成工期滞后。这些原因都普遍存在各个项目上，工期的拖延采取的措施包括：协商业主让步延后工期、按照合同条款索赔工期、缩短关键线路工序的施工持续时间满足工期要求。 针对工期滞后的普遍性，检查组对工期的处置进行了审查跟踪，发现一些不利项目的趋势： （1）、提出的索赔事实与索赔证据衔接不紧，有代沟，容易遭到业主的反索赔。 （2）、协商的手段和方式粗暴，一度追求目标得到赔偿，忽略协商的知识、技巧、逻辑思维、时机动机，索赔的赔偿率不高。 （3）、管理上存在超前意识不强，对一些可以预测估计的气象、地质、技术的应急、物质、机械、资金储备不足。 3、施工过程针对公司的经营范围，公司的技术性密集、劳动力密集的特点。一些特殊的施工过程控制存在瑕疵，对管理提出了较大要求。我们跟踪检查发现回访工程中对于填充墙体裂缝、卫生间，
H3C大数据产品技术白皮书杭州华三通信技术有限公司 2020年4月
目录 1 H3C大数据产品介绍 (1) 1.1产品简介 (1) 1.2产品架构 (1) 1.2.1 数据处理 (2) 1.2.2 数据分层 (3) 1.3产品技术特点 (4) 先进的混合计算架构 (4) 高性价比的分布式集群 (4) 云化ETL (5) 数据分层和分级存储 (5) 数据分析挖掘 (6) 数据服务接口 (6)
可视化运维管理 (7) 1.4产品功能简介 (7) 管理平面功能： (12) 业务平面功能： (14) 2DataEngine HDP核心技术 (15) 3DataEngine MPP Cluster核心技术 (16) 3.1MPP + Shared Nothing架构 (16) 3.2核心组件 (16) 3.3高可用 (17) 3.4高性能扩展能力 (18) 3.5高性能数据加载 (18) 3.6OLAP函数 (19) 3.7行列混合存储 (19)
1H3C大数据产品介绍 1.1产品简介 H3C大数据平台采用开源社区Apache Hadoop2.0和MPP分布式数据库混合计算框架为用户提供一套完整的大数据平台解决方案，具备高性能、高可用、高扩展特性，可以为超大规模数据管理提供高性价比的通用计算存储能力。H3C大数据平台提供数据采集转换、计算存储、分析挖掘、共享交换以及可视化等全系列功能，并广泛地用于支撑各类数据仓库系统、BI 系统和决策支持系统帮助用户构建海量数据处理系统，发现数据的内在价值。 1.2产品架构 H3C大数据平台包含4个部分： 第一部分是运维管理，包括：安装部署、配置管理、主机管理、用户管理、服务管理、监控告警和安全管理等。 第二部分是数据ETL，即获取、转换、加载，包括：关系数据库连接Sqoop、日志采集Flume、ETL工具 Kettle。
社会信用体系大数据平台 白皮书 九次方财富资讯（北京）有限责任公司 2016年5月
目录 第一章社会信用体系介绍 (3) 第二章发展现状及趋势 (6) 2.1社会信用体系建设现状 (6) 2.2大数据应用情况与趋势 (7) 2.2.1新形势下的大数据已成为社会信用体系创新的重要突破口 (7) 2.2.2开启大数据时代政务和社会管理新模式 (8) 2.2.3培育经济发展新引擎，打造区域性竞争优势 (8) 2.2.4打造诚信名片，树立行业标杆 (9) 第三章九次方社会信用体系大数据平台的特征 (10) 3.1遵循大数据十三五规划和大数据相关标准规范 (10) 3.2采用大型IT应用系统设计原则 (10) 3.3技术架构对数据结构变化的适应性 (11) 3.4数据采集源的易用性及业务变更的适应性 (12) 3.5注重指标体系及数据模型的设计 (12) 3.6大数据应用场景的可视化及参数化设计 (13) 3.7采用先进、成熟、实用的软件和技术 (13) 第四章九次方社会信用体系大数据平台的总体架构 (14) 4.1数据架构设计 (16) 4.2网络架构设计 (17) 第五章标准规范体系建设 (19) 5.1标准规范建设框架 (19) 5.2标准规范建设内容 (20) 5.2.1公共信用标准规范体系建设 (20) 5.2.2统一社会公共信用代码建设 (21) 第六章社会信用体系数据中心建设 (27) 6.1大数据公共信用信息数据库 (27) 6.2大数据公共信用信息共享与交换平台 (28) 6.3信用门户网站和手机应用 (28) 第七章大数据平台建设 (29)
7.1大数据采集平台 (29) 7.2大数据清洗平台 (30) 7.3大数据挖掘与分析平台 (33) 7.4大数据可视化平台 (35) 第八章应用系统建设 (37) 8.1公共信用信息综合查询 (37) 8.2市场公共信用监管 (37) 8.3信用服务展现 (38) 8.4个人征信信息查询 (39) 8.5企业征信信息查询 (40) 8.6小微企业信用评估 (40) 8.7交易对手信用风险预警 (41) 第九章社会信用体系大数据平台建设的核心要素 (42) 第十章结束语 (43)
XX医院质量控制管理平台整体解决方案 XX医院医疗质量控制管理平台解决方案 质量控制标准规则库主要包括病案质量评价标准缺陷库和环节质量指标规则库(根据不同的业务和技术实现进行区分)。 质量控制环节管理主要包括修改或删除监控环节，支持通过监控环节名称和质量控制点进行模板查询，可编辑进入配置界面，支持用户手动配置子项目，支持用户设置质量控制规则。如果在主要项目下没有选择质量控制项目，系统将不会将其添加到监控链接。 3.8.4。关键病人管理 医患关系是当今卫生系统中的一个敏感话题。医疗纠纷日益成为社会和老百姓关注的焦点，是医疗机构正常运行和发展的难点。 重点病人管理为业务院长和医务部全面、重点掌握住院病人情况提供及时、准确的信息，便于医院各分支机构对重点病人的宏观控制、及时指挥、支持、协调和组织诊治。 该系统为重点患者提供报告管理和自动筛查管理。通过重点患者分类字典管理和重点患者数据维护的编制，系统根据预警规则筛选重点患者数据，对风险较高的患者进行预警。 第41页 XX医院医疗质量控制管理平台解决方案 关键患者管理功能图 ？关键患者管理流程 重点患者管理业务流程图
？重点患者筛查 目前，XX医院质控部负责符合报告规则的患者(多项血常规检查、大额退款、多项危重疾病、多项手术、特殊住院、超高费用、多次会诊、一周内再次入院、检查标记、一周内重复门诊、重症监护室等)。)在患者信息数据中。 第42页 XX医院医疗质量控制管理平台解决方案 选择重点患者，并向住院组的质量控制专家报告。质量控制专家对其进行审查，并将跟踪情况报告给管理医生。 为重点患者提供系统自动筛查和医生报告。 重点病人的管理医生是负责的记者。该报告包括患者的住院号、姓名、性别、年龄、床号、当前诊断和主要问题。 重点患者管理-医院患者名单原型图 第43页 XX医院医疗质量控制管理平台解决方案 关键患者管理-关键患者报告的原型图 ？关键患者信息管理 提供医院重点病人的生命周期管理，包括重点病人的诊疗记录和护理细节等。，根据字典管理中的预警规则在后台判断重点患者，并给出当前时间住院的重点患者列表和预警信息。 关键患者管理-关键患者信息列表的原型图 关键患者数据来自业务系统，如住院工作站和护士工作站，从支持系
Linkoop 领象大数据平台白皮书 V3.0 Linkoop领象大数据平台为企业级大数据应用提供了数据全生命周期的解决方案，包含了数据集成、数据管理、数据安全、数据查询以及数据分析的整套分布式大数据平台和计算平台，帮助企业对海量数据进行采集、存储、治理、分析和挖掘，发现数据价值。 Linkoop领象大数据平台技术特点 ?业界领先的大数据计算能力 不论是数据导入、清洗、查询、分析还是复杂的机器学习任务，Linkoop都将这些任务转化为Hadoop上的分布式计算任务，充分利用整个大数据集群的计算能力。Linkoop对计算任务中的关键操作进行了定制化开发和优化，如数据加载、多维关联等常用操作，在降低使用难度的同时提高了计算效率，优化后的处理性能可达Hive-tez的10倍以上，Spark的2-10倍。Linkoop在电信领域广泛应用，每天处理的新增数据量超过600TB，充分验证了平台数据处理的性能和稳定性。 ?全图形化的数据处理流程设计 Linkoop创新性地提供了数据处理流程的图形化开发界面，使得在大数据平台上的数据处理不需要编写Hadoop代码，只需要通过鼠标拖拽添加功能组件，设定功能组件的运行参数和功能组件之间的依赖关系，就能够完成大数据处理流程的定义。对于定义完成的数据处理流程，能直接生成计算任务，提交平台执行和监控。全图形化的使用界面大大降低了对大数据应用开发、实施和运维人员的技术门槛，减少了项目实施的周期和成本。 ?插件式功能扩展 Linkoop提供的功能组件既包括数据采集和ETL任务相关的数据抽取、清洗、脱敏、校验、转换等功能，也包括了数据分析所需要的多维关联、聚集、统计以及机器学习算法等功能。
质量管理信息化平台数据库的设计与开发 发表时间：2014-12-05T16:37:19.840Z 来源：《工程管理前沿》2014年第11期供稿作者：李岩1 刘炜铭2 顾磊3 刘平丽[导读] 文件数据库文件数据库主要存储日常质量管理工作中所需的各类体系文件、管理文件及重要的往来文件等。李岩1 刘炜铭2 顾磊3 刘平丽4（1、2、3.南京南瑞集团公司；4.河南省沙颍河流域管理局）摘要：质量管理工作在面对业务涉及领域和专业的扩展、产品线的不断丰富、业务量的增长及质量问题的多样化与复杂化时，对质量数据的收集、统计及分析提出了更高更专业的要 求，传统的电子文档及纸质记录无法满足相应需求，必须将质量数据信息化、整编化。本文以此为研究背景，结合关系数据库设计开发技术，详细论述了作者所在企业建设质量信息化平台过程中数据库的设计与开发。 关键词：质量信息采集与管理，质量决策与分析，关系数据库设计与开发 1 引言质量系统作为研发和生产过程的监督和质量保障，在企业中具有举足轻重的作用。然而作者供职的企业中，质量管理信息化的薄弱已经严重地与其他系统的发展失衡，主要质量管理过程信息化工具的缺失以及信息孤岛的存在已经使企业的质量管理部门在信息化平台上无法与其他部门对话。 2 需求分析2.1 质量管理工作现状作者所在企业的质量管理部门主要负责产品检验、售后服务、体系文件管理及安全生产管理等工作，工作内容庞杂且信息化程度较低。 2.2 存在问题从质量管理工作情况分析来看，管理方式较为原始，主要存在以下几个方面的问题：(1)数据收集方式原始，日常工作记录普遍采用Office 及纸质文档的方式，缺乏统一的数据规范，不利于质量信息的查询和追溯。 (2)收集的质量数据需要重新整理加工，且不方便存档与调阅。 (3)对产品质量进行统计与分析时，需要使用专业软件重新录入数据生成图形报表，且生成的图表难以存档。 (4)体系文件与部门间往来的质量文件缺少统一的共享及发布平台。 (5)大量日常工作缺少量化或统计手段，在绩效考核时需要人工测算，工作量大且准确率低。 2.3 需求分析矩阵通过以上对质量管理工作中存在的问题进行分析可知，建立一个信息化的质量数据库十分必要。 3 数据库设计根据质量管理信息化平台数据库需求分析，结合质量管理部门日常工作流程，以数据流程及存储类型进行分类，将质量信息化平台数据库分为静态资料库、动态信息数据库、文件数据库及过程数据库四类。 3.1 静态资料库静态资料库主要存储质量管理工作中所需的静态信息，如产品信息、项目信息、不合格项定义、部门及人员信息、各质量指标计算方法等。基础数据采用唯一数字编码作为索引标识，并使用分层结构对信息的相同属性进行分类，便于查询、更新及管理。以产品信息为例。 产品信息：笔者所在公司产品涵盖多个专业领域，类别繁多型号庞杂，必须对产品按一定属性进行分类，便于产品信息的检索和更新。结合公司产品实际情况，将产品信息分为专业、类型、名称、型号四层，建立相应四张关系数据表专业定义(见表3-1-1)、产品类型定义(见表3-1-2)、产品名称定义(见表3-1-3)、产品型号定义(见表3-1-4)，相应表结构信息如下：表3-1-1 专业定义表3-1-2 产品类型定义 它静态资料如项目定义、不合格项定义、供方信息、人员信息等，采用同样设计思路建立数据表，并以数字编码代替详细信息，并组成完整信息视图供质量信息化平台使用。 3.2 动态信息数据库动态数据库主要存储日常质量管理工作中产生的数据记录，包括检验信息记录、质量问题跟踪记录、服务单记录等。在日常工作中，此类信息均以相应工作单的形式进行记录，因此在数据库中,同样以工作单的形式存储，并以单号作为主键索引，以便查询、更新及统计分析。 检验申请单登记：检验申请单是质量管理部门进行出厂检验工作的依据，检验申请单包含项目信息、产品信息及部门人员信息，这些信息均已在静态资料库中进行定义，因此只需建立相应字段，并在该字段中引用所需信息的唯一标识。在实际工作中，经常会出现同一张检验申请单中包含多个产品的情况，在设计检验登记表时，必需采用多主键的方式，以申请单号和产品型号同时作为主键包含了日常出厂检验工作中所有的基础信息，实现了通过时间、项目、人员、部门、专业等多个维度均可以检索相应出厂检验信息的目的。 其它动态信息如不合格品信息、工作记录、返修品登记等，采用同样设计思路建立数据表，并以数字编码代替详细信息，并在相关属性定义完成后，组成完整信息视图供质量信息化平台使用。 3.3 文件数据库文件数据库主要存储日常质量管理工作中所需的各类体系文件、管理文件及重要的往来文件等。此类信息均以电子文档的形式进行记录，为保证系统的运行效率，不采用传统二进制文件的存储方式，只在数据库中建立地址索引表，记录相关文件的分类信息及存放路径。 文件仍然以电子文档的形式存储在物理设备上，信息化平台只需调用地址索引，即可从本地设备上进行下载、预览等操作。 3.4 过程数据库过程数据库用于记录特定工作及相关管理流程的进度，如产品型式试验，体系文件发布，新产品研发备案，计量设备检定等，每项事务以公司ERP 系统编号作为主键，以质量管理部对各项工作的管理节点信息，增加与数字编码相对应的静态资料定义，作为节点标志，并建立每个管理节点信息发生时间的字段，以便信息化平台通过状态或时间进行分析检索。 4 结论质量管理信息化平台数据库的设计需要与质量管理工作紧密结合，尽量以现有工作流程为基础，同时确保数据结构的扩展性与一致性。合理保留传统电子或纸制记录的数据格式，将有利于传统工作向信息化平台工作的平稳过渡。针对复杂且缺乏规律的数据，应着重考虑标准统一的索引编码，并尽量以信息量较大的数据为基础，采用一定的冗余设计，保证基础数据的完整性。
数据质量管理 数据质量管理系统应用----生活篇 最近在看关于综合分析数据质量管理规范的时候，结合实际生活当中的例子。在这里说出来，可以讨论一下。这里主要是指标值数据质量的管理： 1：数值检查可以和我们固定的阈值检查结合起来，即通过检查单个指标的数值和阈值的比较发现指标的异常和变动的情况。这个就是固定阈值的一种情况。比如当地铁离近站只有4分钟的时候，地铁旁边的灯会一直闪烁。地铁离开车只有一分钟要关门的时候，就会告警即将开车。以免突然开车造成人的伤害。 2：波动检查：一般就是同比波动的检查和环比波动的检查。先计算指标的同比或环比波动率，然后与预订的波动率上下限（阈值）进行比较。这个就是范围阈值。例如昨天公交车上有一条新闻就是重庆目前一小时之内公交车换成免费。那么这一个小时之内就是一个范围阈值，只要在一个小时之内不收钱，即什么也不做，但是当超过一个小时之后就要收钱。那么我们这里就需要告警。 3：还有一种日常当中常用的就是动态阈值比如我们乘坐地铁的时候根据路程的不同地铁价格不同。以及依照路程计价的公交车也一样，路程不同，价格不同。本质上都是乘坐地铁或者公交，但是由于距离
问题因此价格不同，比如收入指标阈值制定的时候，比如不同的地市，在同一时间维度阈值是不同。比如经济发达地区应该制定高一点，经济欠发达地区制定低一点。 4：指标之间的关联检查，比如我们常说的同增同减关联关系，还是以地铁为例，路程增加了，那价格相应就增加了。比如我们理论上我们的用户数增加了，那么收入应该有所增加。但是有时候反而用户量增加了，收入却下降了。增加的用户数比丢失的用户数多因此整体上用户量增加了。但是增加的用户量都是一些劣质用户，而丢失了一部分高端用户。从而导致用户数增加，收入下降的局面。 5：指标平衡检查：对若干个指标值的简单四则运算（加、减、乘、除），来检验各个指标间潜在的平衡或其他比较关系。比如有些指标日指标汇总应该与月指标的值平衡。（也许还可以研究更科学的复杂计算） 当发现数据出现异常的时候，首先先分析一下，是不是一些因素导致指标的变化，比如节假日，周末，市场营销策略，以及外部的一些政策对指标造成的变化，然后再查看是不是真的是数据质量的问题，以及源接口数据的问题。 数据质量管理系统----理论篇 一：从以下5个方面对数据的质量进行管控 1：及时性：数据获取是否及时，主要指数据提取、传送、转换、加
数据质量管理系统： 一：从以下5个方面对数据的质量进行管控 1：及时性：数据获取是否及时，主要指数据提取、传送、转换、加载、展现的及时性。在数据处理的各个环节，都会涉及到及时性。我们一般考虑两个方面第一就是接口数据是否能够及时的抽取过来。第二就是展现层能否及时的展现出来。 2：完整性：是指数据是否完整，描述的数据要素，要素属性及要素关系存在或不存在，主要包括实体缺失、属性缺失、记录缺失以及主外键参照完整性的内容。 3：一致性：第一就是原始数据即文件接口和入库的数据记录条数是一致的。 第二就是同一指标在任何地方都应该保持一致。 4：有效性：描述数据取值是否在界定的值域范围内，主要包括数据格式、数据类型、值域和相关业务规则的有效性。（可获取性） 5：准确性：主要是指指标算法、数据处理过程的准确性。这个准确性主要是通过元数据管理中定义的指标的算法、数据处理顺序和人工检查相结合的方式来保证。 项目背景 财务管理是企业管理的中心环节，对企业的兴衰成败有着深远影响。 当前，提升企业财务风险管理能力至关重要。随着市场经济的深入进行，我国企业在改革和发展过程中面临着越来越多、越来越复杂的财务风险，这些风险给企业经营造成了极大的冲击，经济活动的高风险迫使企业必须识别所面临的财务风险，了解风险的性质以及风险事故发生可能造成的损失后果，并在此基础上制定与实施对自己最有效的风险防范措施，尽量避免可能出现的不利后果，减少可能的损失，维持企业正常的经营活动。此外，国资委、财政部等五部委分别通过《中央企业全面风险管理指引》、《企业内部控制基本规范》及配套指引对企业风险管理和内部控制工作提出了具体的要求，指出企业应建立健全内部控制体系、不断提高风险管控能力，确保企业健康稳定发展。 财务数据质量建设是财务风险管理的重要一环，财务数据的真实性和可靠性是保证数据使用者做出正确决策的基本前提和条件，财务数据质量的好坏直接影响到企业的生存和发展。财务数据质量低下会造成国有资产严重流失、社会交易费用昂贵，甚至会使企业难以筹措资金，故提升财务数据质量变得非常重要。
密级：保密（只限于合作客户单位） 文档编号：HIP060002 第1.0版 分册名称：模版 第2册/共10 册 信息集成平台之 数据质量管理 长沙廖氏软件科技有限公司 2020年07月
版权声明 《信息集成平台之数据质量管理》的版权归长沙廖氏软件科技公司所有，任何侵犯版权的行为将被追究法律责任。未经版权所有者的书面准许，不得将本手册的任何部分以任何形式、采用任何手段(电子的或机械的，包括照相复制或录制)或为任何目的，进行复制或扩散。Copyright ? 2015长沙廖氏软件科技有限公司。版权所有，复制必究。 长沙廖氏软件科技有限公司不对因为使用该软件、安装手册或由于该软件、安装手册中的缺陷所造成的任何损失负责。
阅读指南 〖手册目标〗 本手册详细介绍了信息集成平台之数据质量管理的相关概念，帮助用户迅速了解信息集成平台之数据质量管理的相关知识。 〖阅读对象〗 本手册是针对软件厂商开发人员、实施人员及医疗机构的IT管理人员编写的，用户在使用本系统之前，应先阅读本手册，以避免误操作。 〖手册构成〗 “信息集成平台之数据质量管理”分成两个章节： 第一章：基础知识； 第二章：功能操作； 〖手册约定〗 【界面图示】展示窗口图片 【功能描述】减速模块的功能，让读者有个大概的了解。 【注意】的意思是请读者注意那些需要注意的事项。 【警告】的意思是请读者千万注意某些事项，否则将造成严重错误。
目录 第1章基础知识 (1) §1.1质量管理的定义 (1) §1.2质量管理的目的 (1) §1.3质量规则类型 (2) 第2章功能操作 (3) §2.1质量扣分规则 (3) §2.2质量规则定义 (3) §2.2.1 自动生成质量规则 (3) §2.2.2 自定义质量规则 (3) §2.3质量分析报告 (5)
DreamBI大数据分析平台 技术白皮书
目录 第一章产品简介 (4) 一、产品说明 (4) 二、产品特点 (4) 三、系统架构 (4) 四、基础架构 (7) 五、平台架构 (7) 第二章功能介绍 (7) 2.1.元数据管理平台 (7) 2.1.1.业务元数据管理 (8) 2.1.2.指标元数据管理 (10) 2.1.3.技术元数据管理 (14) 2.1.4.血统管理 (15) 2.1.5.分析与扩展应用 (16) 2.2.信息报送平台 (17) 2.2.1.填报制度管理 (17) 2.2.2.填报业务管理 (33) 2.3.数据交换平台 (54) 2.3.1.ETL概述 (55) 2.3.2.数据抽取 (56) 2.3.3.数据转换 (56) 2.3.4.数据装载 (57) 2.3.5.规则维护 (58) 2.3.6.数据梳理和加载 (65) 2.4.统计分析平台 (67) 2.4.1.多维在线分析 (67) 2.4.2.即席查询 (68) 2.4.3.智能报表 (70) 2.4.4.驾驶舱 (74)
2.4.5.图表分析与监测预警 (75) 2.4.6.决策分析 (79) 2.5.智能搜索平台 (83) 2.5.1.实现方式 (84) 2.5.2.SolrCloud (85) 2.6.应用支撑平台 (87) 2.6.1.用户及权限管理 (87) 2.6.2.统一工作门户 (94) 2.6.3.统一消息管理 (100) 2.6.4.统一日志管理 (103) 第三章典型用户 (106) 第四章案例介绍 (108) 一、高速公路大数据与公路货运统计 (108) 二、工信部-数据决策支撑系统 (110) 三、企业诚信指数分析 (111) 四、风险定价分析平台 (112) 五、基于斯诺模型的增长率测算 (113) 六、上交所-历史数据回放引擎 (114) 七、浦东新区能耗监控 (115)