数据、模型与决策(第9章统计质量管理).

一数一源数据标准化技术随着信息化时代的深入发展，数据已成为企业运营和管理的核心资源。

由于不同系统、部门和地区产生的数据存在着格式、语义、质量不一致等问题，导致数据集成和分析都遭遇了极大的困难。

为了解决这一难题，一数一源数据标准化技术应运而生。

本文将从数据标准化的概念、意义、技术原理、应用案例等方面对该技术进行深入介绍。

一、数据标准化的概念与意义数据标准化又称数据规范化，是指按照一定的规则和标准对数据进行加工和整理，使其达到规范化的要求，包括数据格式统一、语义一致、质量可控等。

数据标准化的意义在于提高数据的可信度、可用性和一致性，有利于数据交换、集成、分析和应用，促进信息共享、决策支持和创新发展。

二、一数一源数据标准化技术的原理一数一源数据标准化技术的核心原理在于从数据采集、清洗、存储、管理、交换、分析等环节入手，对数据进行统一的标准化处理。

主要包括以下几个方面的技术支撑：1. 数据清洗与预处理：对采集的原始数据进行校验、去重、填充、转换等预处理，使其符合标准格式和质量要求。

2. 数据模型与元数据管理：建立数据模型和元数据词典，定义数据结构、属性、编码、标识等，维护数据的结构和语义一致性。

3. 数据集成与交换标准：采用统一的数据交换格式和协议，实现不同系统之间的数据集成和交换，如XML、JSON、SOAP等。

4. 数据质量管理与更正策略：制定数据质量指标、监控规则，实时监测数据质量，及时发现并纠正数据异常。

5. 数据安全与权限控制：建立完善的数据安全机制和权限控制策略，保障数据的机密性、完整性和可用性。

三、一数一源数据标准化技术的应用案例1. 金融机构的数据整合：银行、保险、证券等金融机构存在多个业务系统的数据孤岛，一数一源数据标准化技术可帮助实现各系统数据的统一标准化和集成，提升数据整合和应用效率。

2. 跨境电商的跨平台数据集成：跨境电商面临着不同国家、地区、物流、支付等平台的数据异构性，一数一源数据标准化技术可帮助实现多平台数据的统一格式和语义，提升数据交换和海关通关效率。

DLG数据整理及建库质量控制有关问题的探讨摘要：通过对DLG数据质量元素、数据生产平台及数据整理流程的介绍，论述数据在不同平台间转换时存在的问题，进而说明数据质量控制的内容和方法，并重点说明跨平台数据转换一致性检查自动化的实现方法。

关键词：数据质量质量元素内容和方法一致性检查Abstract: based on the data quality elements, data DLG production platform and the introduction of data flow, this paper discusses the data between different platforms when converting existing problems, and that data quality control the content and the method, and the focus of cross-platform data transfer that consistency check the realization of automation method.Key words: data quality quality element contents and the methods of consistency check1 概述1.1 数据质量控制的意义近十来，在科技进步与自身需求的推动下，我国数字化建设的势头迅猛发展，“数字地球”“数字省区”“数字城市”的呼声越来越高。

在此基础上，基础地理信息系统（GIS）的发展也如火如荼，GIS应用也逐步深入到各行各业。

目前国内不少省区的测绘部门早已不在满足于测绘的数字化，开始向测绘的信息化迈进。

各种专题的地理信息系统都是以图形作为基础数据的，图形数据是信息系统建设的核心，其质量的优劣直接影响到系统的质量和稳定性直至应用效果。

管理科学/运筹学是这种决策支持方式。
2021/4/6
12
2. 模型实验的决策支持
在利用成熟的数学模型解决实际问题时，如何 确定模型方程中的变量、系数、常数以及方程个 数等问题，也是一个困难的问题。
解决这个不确定性问题，应该对模型进行实验。
“如果，将怎样”（what－if）分析是一个很 好的模型实验手段。即：
对模型中的参数进行各种假设，并通过模型计 算，进行深入分析，研究最优解会有怎样的变化， 这种分析称为“如果，将怎样”（what－if）分 析。
2021/4/6
13
“如果，将怎样”（what－if）分析的基本作用： （1）优化模型的许多参数在建模时是很难精确确定
的，只能是对一些数据的估计。通过what－if分析可以 找出哪些系数是需要重新精确定义的灵敏度参数。
经验决策是完全由人用他的经验知识来决 策。
科学决策的初期是利用决策资源（数据、 模型、知识等）来辅助决策（决策支 持）。
2021/4/6
4
利用数据辅助决策促进了统计学和概率论的发展。从
18世纪统计学的出现到现在的国家宏观统计，都在 用数据辅助决策。20世纪90年代出现的数据仓库也 主要是利用数据辅助决策。
率等），数据仓库还为寻找成功和失败的原因提供
了2基021/础4/6 。
9
数据的决策支持的表现形式有：
（1）用图表与曲线直观展示数据中的含义 如：曲线图、条形（柱形）图、饼图、面积图、 散点图、箱线图、茎叶图等。
（2）数据是人决策的依据
在掌握充分、必要的数据的前提下，按照一定 的评判标准，运用数学和逻辑的方法，对几种 可能采取的方案做出合理的选择。
(1) 帮助经理在非结构化任务中作出决策；试探用 多个不同的结构化方法去尝试解决非结构化问题。

（三）存储
决策者用来进行决策的规则、模型和数据是要存储的，所以DSS必须提供快速而使用方便的存储手段， 以支持描述和操作的实现。
（四）控制机构
控制机构是为了帮助决策者使用表述、操作及存储功能，根据自己的技术、经验、知识及风格来实 现决策，所以控制机构的作用在于指导决策者使用DSS。
第三节 决策支持系统的设计
第二节 决策支持系统的基本框架结构
一、决策支持系统的基本框架结构
（一）DSS的二库框架结构
这种框架是施普拉葛（Sprague）1980 年提出的。它包含人机界面、数据库子系统和模型库子系统 三个部分，如图8-1所示。
数据库子系统一般包含数据库和数据库管理系统。模型库子系统一般包含模型库和模型库管理系统。 而人机界面子系统是由对话生成和管理软件所组成，因此图8-1可以细分为图8-2所示的“两库一体化” 框架结构。
三、决策支持系统的发展
自计算机诞生之日起，计算机在经济管理领域中的应用经历了三个阶段： （一）电子数据处理阶段； （二）管理信息系统阶段； （三） 决策支持系统阶段。
第一节 决策支持系统概述
四、决策支持系统的特点
决策支持系统具有如下特点： （1）帮助管理者解决半结构化和非结构化的决策问题； （2）主要用于辅助和支持管理者进行决策，而不是代替管理者进行判断； （3）它是一个人机交互式系统，它通过人机交互接口为决策者提供辅助功能； （4）目标是辅助管理者的决策过程，以改进组织决策制定的效能； （5）决策支持系统能够把模型或分析技术的利用与传统的数据存取和检索功能结合起来，提供较大 的灵活性和适应性，从而使DSS满足不同的问题和技术要求； （6）支持所有管理层次的决策，并能进行不同层次间的通信和协调。
人—机会话管理系统