(精编课件)数据清洗方法20161020.ppt
- 格式：ppt
- 大小：535.99 KB
- 文档页数：25
下载文档原格式
合集下载
数据清理与基本统计分析课件
基本统计分析方法
描述性统计分析
01
02
03
04
平均数：描述一组数据的集中 趋势
标准差：描述一组数据的离散 程度
四分位数与箱线图：描述数据 的分布形态
相关性分析：衡量两个变量之 间的关联程度
假设检验与t检验
假设检验的基本原理与步骤 1. 提出原假设和备择假设
2. 构建统计模型
假设检验与t检验
3. 计算检验统计量 4. 确定显著性水平与临界值
数据清理与基本统计分 析课件
目 录
• 数据清理概述 • 数据预处理 • 数据探索性分析 • 基本统计分析方法 • 数据清理与统计分析工具 • 案例分析与实践操作
01
数据清理概述
数据清理的意义
提高数据质量
通过数据清理，可以去除重复、 错误或不完整的数据，提高数据 的准确性和可靠性，为数据分析
提供更好的基础。
假设检验实例
通过实际案例演示假设检验的具体步骤和应用，如检验两个独立样本的均值是否 存在显著差异。
方差分析实例
通过实际案例演示方差分析的具体步骤和应用，如分析不同因素对某一指标的影 响程度。
THANKS
感谢观看
数据清理的方法与步骤
数据标准化
将数据转换为统一的尺度或标准 ，以方便比较和分析。例如，将 不同单位的数据转换为相同的尺
度或标准。
数据编码
将文本或分类数据转换为数值型 数据，以方便进行数学分析和计
算。
数据加密
保护数据的机密性和隐私，通过 加密技术保护敏感信息。
02
数据预处理
数据筛选与过滤
筛选数据
Excel提供了数据格式化的功能，如将文本 数据转换为数字、将日期转换为特定的日 期格式等。
描述性统计分析
01
02
03
04
平均数：描述一组数据的集中 趋势
标准差：描述一组数据的离散 程度
四分位数与箱线图：描述数据 的分布形态
相关性分析：衡量两个变量之 间的关联程度
假设检验与t检验
假设检验的基本原理与步骤 1. 提出原假设和备择假设
2. 构建统计模型
假设检验与t检验
3. 计算检验统计量 4. 确定显著性水平与临界值
数据清理与基本统计分 析课件
目 录
• 数据清理概述 • 数据预处理 • 数据探索性分析 • 基本统计分析方法 • 数据清理与统计分析工具 • 案例分析与实践操作
01
数据清理概述
数据清理的意义
提高数据质量
通过数据清理，可以去除重复、 错误或不完整的数据，提高数据 的准确性和可靠性，为数据分析
提供更好的基础。
假设检验实例
通过实际案例演示假设检验的具体步骤和应用，如检验两个独立样本的均值是否 存在显著差异。
方差分析实例
通过实际案例演示方差分析的具体步骤和应用，如分析不同因素对某一指标的影 响程度。
THANKS
感谢观看
数据清理的方法与步骤
数据标准化
将数据转换为统一的尺度或标准 ，以方便比较和分析。例如，将 不同单位的数据转换为相同的尺
度或标准。
数据编码
将文本或分类数据转换为数值型 数据，以方便进行数学分析和计
算。
数据加密
保护数据的机密性和隐私，通过 加密技术保护敏感信息。
02
数据预处理
数据筛选与过滤
筛选数据
Excel提供了数据格式化的功能，如将文本 数据转换为数字、将日期转换为特定的日 期格式等。
数据清洗课件-第1章 数据清洗基础
第1章 数据清洗基础
数据清洗概述
数据的不断剧增是大数据时代的显著特征，大数据必须经过清洗、分析、建 模、可视化才能体现其潜在的价值。然而在众多数据中总是存在着许多“脏” 数据，即不完整、不规范、不准确的数据，因此数据清洗就是指把“脏数据” 彻底洗掉，包括检查数据一致性，处理无效值和缺失值等，从而提高数据质量。 。
数据清洗研究与应用展望
（1）中文数据清理工具的研究和开发 （2）标准测试集的获取 （3）众包技术在数据清洗上的应用 （4）深度学习技术在数据清洗上的应用 （5）非结构化数据的清洗 （6）数据清洗工具之间的互操作性 （7）数据清理方案的通用性 （8）私密数据的清洗
数据清洗的行业发展 大数据产业已提升到国家战略的高度，随着创新驱动发展战略的实施，逐步
（1）数据对用户必须是可信的 （2）数据对用户必须是可用的
数据清洗的框架模型
（1）Trillium的模型 Trillium是由Harte Hanks Data Technologies的Trilliu件。
（2）Bohn模型 （3）AJAX模型
目前，数据清洗主要应用于三个领域：数据仓库、数据挖掘和数据质量管理。
在数据仓库领域中，数据清洗一般是应用在几个数据库合并时或多个数据源 进行集成时。
在数据挖掘（早期又称为数据库的知识发现）过程中，数据清洗是第一个步 骤，即对数据进行预处理的过程。
数据质量管理是贯穿数据生命周期的全过程，在数据生命周期中，数据的获 取和使用周期包括系列活动，如评估、分析、调整、丢弃数据等。因此数据质 量管理了覆盖质量评估，数据去噪，数据监控，数据探查，数据清洗，数据诊 断等方面。在此过程中，数据清洗为衡量数据质量的好坏提供了重要的保障。
在微观方面，数据清洗的对象分为模式层数据清洗与实例层数据清洗。其中 模式层是指存储数据的数据库结构，而实例层是指在数据库中具体存储的数据 记录，本书主要讲述实例层的数据清洗。
数据清洗概述
数据的不断剧增是大数据时代的显著特征，大数据必须经过清洗、分析、建 模、可视化才能体现其潜在的价值。然而在众多数据中总是存在着许多“脏” 数据，即不完整、不规范、不准确的数据，因此数据清洗就是指把“脏数据” 彻底洗掉，包括检查数据一致性，处理无效值和缺失值等，从而提高数据质量。 。
数据清洗研究与应用展望
（1）中文数据清理工具的研究和开发 （2）标准测试集的获取 （3）众包技术在数据清洗上的应用 （4）深度学习技术在数据清洗上的应用 （5）非结构化数据的清洗 （6）数据清洗工具之间的互操作性 （7）数据清理方案的通用性 （8）私密数据的清洗
数据清洗的行业发展 大数据产业已提升到国家战略的高度，随着创新驱动发展战略的实施，逐步
（1）数据对用户必须是可信的 （2）数据对用户必须是可用的
数据清洗的框架模型
（1）Trillium的模型 Trillium是由Harte Hanks Data Technologies的Trilliu件。
（2）Bohn模型 （3）AJAX模型
目前，数据清洗主要应用于三个领域：数据仓库、数据挖掘和数据质量管理。
在数据仓库领域中，数据清洗一般是应用在几个数据库合并时或多个数据源 进行集成时。
在数据挖掘（早期又称为数据库的知识发现）过程中，数据清洗是第一个步 骤，即对数据进行预处理的过程。
数据质量管理是贯穿数据生命周期的全过程，在数据生命周期中，数据的获 取和使用周期包括系列活动，如评估、分析、调整、丢弃数据等。因此数据质 量管理了覆盖质量评估，数据去噪，数据监控，数据探查，数据清洗，数据诊 断等方面。在此过程中，数据清洗为衡量数据质量的好坏提供了重要的保障。
在微观方面，数据清洗的对象分为模式层数据清洗与实例层数据清洗。其中 模式层是指存储数据的数据库结构，而实例层是指在数据库中具体存储的数据 记录，本书主要讲述实例层的数据清洗。
数据预处理与清理数据ppt课件
数据采集设备的错误 数据录入问题 数据传输问题 部分技术的限制 数据转换中的不一致 重复的记录 不完整的数据 不一致的数据
数据清理中所需要处理的其它问题
9
噪音数据的处理
分箱（Binning）的方法 聚类方法
检测并消除异常点
对不符合回归的数据进行平滑处理 由计算机检测可疑的点，然后由用户确认
分箱（Binning） 方法举例
对数据进行排序: 4, 8, 9, 15, 21, 21, 24, 25, 26, 28, 29, 34 对数据进行分割(相同深度) :
- Bin 1: 4, 8, 9, 15
- Bin 2: 21, 21, 24, 25
- Bin 3: 26, 28, 29, 34
平滑处理: 从数据中消除噪音数据 聚集操作: 对数据进行综合，类似于Data Cube的构
建
数据概化：构建概念层次 数据规范化: 将数据集中到一个较小的范围之中
最大-最小规范化 z-score（零－均值）规范化
小数范围规范化（0–1规范化）
属性构造
18
最大-最小规范化
字符表示：优、良、及格、不及格
概念不清
最近交易额：前一个小时、昨天、本周、本月？
聚集冲突：根源在于表结构的设计
16
冗余数据的处理
从多个数据源中抽取不同的数据，容易导致数据的冗余
不同的属性在不同的数据源中是不同的命名方式
有些属性可以从其它属性中导出， 例如：销售额＝单价×销售量
《数据清洗技术》课件
《数据清洗技术》PPT课 件
通过本课件，我们将深入探讨数据清洗的重要性、步骤、技术、工具以及各 种数据类型的清洗方法。让我们一起来了解数据世界的美妙！
什么是数据清洗？
数据清洗是指处理和修复数据集中的错误、不一致以及缺失值的过程。它是数据分析中必不可少的一步，确保 数据的准确性和可信度。
数据清洗的重要性
1 删除异常值
删除与大多数数据明显不同的异常值。
2 修正异常值
通过更合理的值替换异常值。
3 离群值检测
使用统计方法或机器学习算法检测离群值。
1 数据准确性
2 决策依据
清洗数据可以消除错误和 不一致，提高数据准确性。
清洗后的数据可被用于决 策制定及业务分析。
3 模型建立
清洗后的数据有助于构建 准确、可靠的预测模型。
数据清洗的步骤
1
数据收集和输入
收集原始数据并转化为可用的数据格式。
数据预处理
2
处理缺失值、异常值以及重复数据。
3
数据探索和可视化
通和归一化
将数据转化为统一的比例和范围。
数据转换
转换数据格式以适应分析需求。
异常值处理
识别和处理与其他数据明显不同的异常值。
数据筛选和过滤
根据特定条件筛选出所需的数据。
数据清洗的工具
1 开源工具
例如Python的pandas和OpenRefine。
2 商业工具
例如SAS Data Quality和IBM InfoSphere DataStage。
3 可视化工具
例如Tableau和Power BI。
缺失值的处理方法
1 删除缺失值
删除包含缺失值的行或列。
2 插值填充
通过本课件，我们将深入探讨数据清洗的重要性、步骤、技术、工具以及各 种数据类型的清洗方法。让我们一起来了解数据世界的美妙！
什么是数据清洗？
数据清洗是指处理和修复数据集中的错误、不一致以及缺失值的过程。它是数据分析中必不可少的一步，确保 数据的准确性和可信度。
数据清洗的重要性
1 删除异常值
删除与大多数数据明显不同的异常值。
2 修正异常值
通过更合理的值替换异常值。
3 离群值检测
使用统计方法或机器学习算法检测离群值。
1 数据准确性
2 决策依据
清洗数据可以消除错误和 不一致，提高数据准确性。
清洗后的数据可被用于决 策制定及业务分析。
3 模型建立
清洗后的数据有助于构建 准确、可靠的预测模型。
数据清洗的步骤
1
数据收集和输入
收集原始数据并转化为可用的数据格式。
数据预处理
2
处理缺失值、异常值以及重复数据。
3
数据探索和可视化
通和归一化
将数据转化为统一的比例和范围。
数据转换
转换数据格式以适应分析需求。
异常值处理
识别和处理与其他数据明显不同的异常值。
数据筛选和过滤
根据特定条件筛选出所需的数据。
数据清洗的工具
1 开源工具
例如Python的pandas和OpenRefine。
2 商业工具
例如SAS Data Quality和IBM InfoSphere DataStage。
3 可视化工具
例如Tableau和Power BI。
缺失值的处理方法
1 删除缺失值
删除包含缺失值的行或列。
2 插值填充
大数据高职系列教材之数据清洗PPT课件：第1章 概论
图 基 于 聚 类 的 孤 立 点 识 别
1
大数据应用人才培养系列教材
第一章 概论
1 .1 数 据 清 洗 概 述 1.2 数据标准化 1.3 数据仓库
习题
1.2数据标准化
1.2.1 数据标准化概念
● 数据标准化/规范化（Data Standardization/Normalization）是机构 或组织对数据的定义、组织、分类、记录、编码、监督和保护进行标准化 的过程，有利于数据的共享和管理，可以节省费用，提高数据使用效率和 可用性。
● 数据清洗对随后的数据分析非常重要，因为它能提高数据分析的准确 性。但是数据清洗依赖复杂的关系模型，会带来额外的计算和延迟开销， 必须在数据清洗模型的复杂性和分析结果的准确性之间进行平衡。
1.1数据清洗概述
1.1.4 数据清洗流程
● 数据清洗通过分析“脏数据”的产生原因和存在形式，利用数据溯源的 思想，从“脏数据”产生的源头开始分析数据，对数据流经环节进行考察， 提取数据清洗的规则和策略，对原始数据集应用数据清洗规则和策略来发 现“脏数据”并通过特定的清洗算法来清洗“脏数据”，从而得到满足预 期要求的数据。具体而言，数据清洗流程包含以下基本步骤：
大数据应用人才培养系列教材
第一章 概论
1 .1 数 据 清 洗 概 述 1.2 数据标准化 1.3 数据仓库
习题
1.3数据仓库简介
1.3.1 数据仓库定义
● 数据仓库（Data Warehouse, DW）是基于信息系统业务发展需要， 基于传统数据库系统技术发展形成能够并逐步独立出来的一系列新的应用 技术，目标是通过提供全面、大量的数据存储来有效支持高层决策分析。
1.3数据仓库简介
1.3.4 数据仓库相关技术
1
大数据应用人才培养系列教材
第一章 概论
1 .1 数 据 清 洗 概 述 1.2 数据标准化 1.3 数据仓库
习题
1.2数据标准化
1.2.1 数据标准化概念
● 数据标准化/规范化（Data Standardization/Normalization）是机构 或组织对数据的定义、组织、分类、记录、编码、监督和保护进行标准化 的过程，有利于数据的共享和管理，可以节省费用，提高数据使用效率和 可用性。
● 数据清洗对随后的数据分析非常重要，因为它能提高数据分析的准确 性。但是数据清洗依赖复杂的关系模型，会带来额外的计算和延迟开销， 必须在数据清洗模型的复杂性和分析结果的准确性之间进行平衡。
1.1数据清洗概述
1.1.4 数据清洗流程
● 数据清洗通过分析“脏数据”的产生原因和存在形式，利用数据溯源的 思想，从“脏数据”产生的源头开始分析数据，对数据流经环节进行考察， 提取数据清洗的规则和策略，对原始数据集应用数据清洗规则和策略来发 现“脏数据”并通过特定的清洗算法来清洗“脏数据”，从而得到满足预 期要求的数据。具体而言，数据清洗流程包含以下基本步骤：
大数据应用人才培养系列教材
第一章 概论
1 .1 数 据 清 洗 概 述 1.2 数据标准化 1.3 数据仓库
习题
1.3数据仓库简介
1.3.1 数据仓库定义
● 数据仓库（Data Warehouse, DW）是基于信息系统业务发展需要， 基于传统数据库系统技术发展形成能够并逐步独立出来的一系列新的应用 技术，目标是通过提供全面、大量的数据存储来有效支持高层决策分析。
1.3数据仓库简介
1.3.4 数据仓库相关技术
大数据预处理技术之数据清理介绍课件
数据合并与集成
1
数据合并：将 多个数据源的 数据整合到一 个数据集中
2
数据集成：将 多个数据集的 数据整合到一 个数据集中
3
4
数据清理：对 数据进行清洗、 去重、异常值 处理等操作
数据合并与集 成的方法： SQL、Python、 R等编程语言， 以及ETL工具等。
数据清理的实践案例
案例背景
01
05
提高数据合规性：符合数据保护法规 要求，降低法律风险
数据清理的目标
提高数据质量：去 除错误、缺失、重 复等数据，提高数 据的准确性和完整 性
提高数据分析效率： 通过清理数据，减 少数据分析过程中 的错误和重复计算， 提高数据分析的效 率
提高数据挖掘效果： 通过清理数据，提 高数据挖掘的准确 性和预测效果
03
数据转换：将数据转换为适 合分析的格式，如将文本数 据转换为数值数据
05
数据验证：检查数据是否符 合预期，确保数据质量
02
数据清洗：去除重复数据、 缺失值、异常值等，保证数 据的准确性和完整性
04
数据集成：将多个数据源的 数据整合在一起，形成完整 的数据集
06
数据存储：将清理后的数据 存储到合适的存储系统中， 以便后续分析使用
提高数据安全：通 过清理数据，保护 敏感数据，防止数 据泄露和滥用
数据清理的方法
缺失值处理
缺失值识别： 通过统计分 析或数据可 视化方法识 别缺失值
缺失值填充： 使用均值、 中位数、众 数等统计方 法填充缺失 值
缺失值插补： 使用回归、 决策树等机 器学习方法 预测缺失值
缺失值删除： 直接删除包 含缺失值的 记录或变量
某电商公司需要清理大量用户数据，
数据清洗技术PPT课件
small(数据区域,第几小 ) 计算单元格范围的第几小的数值
Column() 返回单元格所在号
Row() 返回单元格所在行号
查找缺失值
SAS可用missing函数实现 如果结合数组和自动变量，可以一次性实现所有
变量缺失值的输出
查找缺失值
data a1; input id g gender age marriage height weight nation; miss_g=missing(g); miss_gender=missing(gender); miss_age=missing(age); miss_marriage=missing(marriage); miss_height=missing(height); miss_weight=missing(weight); miss_nation=missing(nation); cards; ……（数据） ； proc print;
by gender
age marriage height weight;
run;
proc print data=bb;
run;
查找重复值
5个变量均重复的观测
查找异常值
Excel函数：
If函数 If(判断条件,条件满足返回值,条件不满足返回值)
by语句指定的变量有点类似于索引的作用，通常 指定id号。如果两个数据集的观测数不同，利用 by语句可以保证它们比较的仍然是同一个id号， 而不会出现错位比较的情况。
双录入对比
data a1; input id g gender age marriage height weight nation; cards; ……（数据） ; data a2; input id g gender age marriage height weight nation; cards; ……（数据） ; proc compare base=a1 compare=a2 nosummary; run;
Column() 返回单元格所在号
Row() 返回单元格所在行号
查找缺失值
SAS可用missing函数实现 如果结合数组和自动变量，可以一次性实现所有
变量缺失值的输出
查找缺失值
data a1; input id g gender age marriage height weight nation; miss_g=missing(g); miss_gender=missing(gender); miss_age=missing(age); miss_marriage=missing(marriage); miss_height=missing(height); miss_weight=missing(weight); miss_nation=missing(nation); cards; ……（数据） ； proc print;
by gender
age marriage height weight;
run;
proc print data=bb;
run;
查找重复值
5个变量均重复的观测
查找异常值
Excel函数：
If函数 If(判断条件,条件满足返回值,条件不满足返回值)
by语句指定的变量有点类似于索引的作用，通常 指定id号。如果两个数据集的观测数不同，利用 by语句可以保证它们比较的仍然是同一个id号， 而不会出现错位比较的情况。
双录入对比
data a1; input id g gender age marriage height weight nation; cards; ……（数据） ; data a2; input id g gender age marriage height weight nation; cards; ……（数据） ; proc compare base=a1 compare=a2 nosummary; run;
大数据高职系列教材之数据清洗PPT课件：第1章 概论
1.1数据清洗概述
1.1.3 数据清洗任务
● 数据清洗就是对原始数据进行重新审查和校验的过程，目的在于删除重 复信息、纠正存在的错误，并使得数据保持精确性、完整性、一致性、有 效性及唯一性，还可能涉及数据的分解和重组，最终将原始数据转换为满 足数据质量或应用要求的数据。
● 数据清洗对保持数据的一致和更新起着重要的作用，因此被用于如银行、 保险、零售、电信和交通的多个行业[3]。数据清洗主要有三个应用领域： 数据仓库(Data Warehouse, DW)、数据库中知识的发现(Knowledge Discovery in Database, KDD)和数据质量管理(Data Quality Management, DQM)。
1．分析数据并定义清洗规则 2．搜寻并标识错误实例 3．纠正发现的错误 4．干净数据回流 5．数据清洗的评判 数据清洗是一项十分繁重的工作，数据清洗在提高数据质量的同时要付出一定的代 价，包括投入的时间、人力和物力成本。通常情况下，大数据集的数据清洗是一个系 统性的工作，需要多方配合以及大量人员的参与，需要多种资源的支持。
大数据应用人才培养系列教材
第一章 概论
1 .1 数 据 清 洗 概 述 1.2 数据标准化 1.3 数据仓库
习题
1.3数据仓库简介
1.3.1 数据仓库定义
● 数据仓库（Data Warehouse, DW）是基于信息系统业务发展需要， 基于传统数据库系统技术发展形成能够并逐步独立出来的一系列新的应用 技术，目标是通过提供全面、大量的数据存储来有效支持高层决策分析。
1数据清洗概述114数据清洗流程数据清洗通过分析脏数据的产生原因和存在形式利用数据溯源的思想从脏数据产生的源头开始分析数据对数据流绊环节迚行考察提取数据清洗的规则和策略对原始数据集应用数据清洗规则和策略来发现脏数据并通过特定的清洗算法来清洗脏数据从而得到满足预期要求的数据
数据清洗课件-第2章 数据清洗方法
（1）脏数据 脏数据也叫坏数据，通常是指跟期待的数据不一样、会影响系统正常行为
的数据。例如：源系统中的数据不在给定的范围内或对于实际业务毫无意义， 或是数据格式非法，以及在源系统中存在不规范的编码和含糊的业务逻辑。
例如，员工表中有一个员工，名称叫“张超”，但是公司里并没有这个人 ，该员工数据就是脏数据。
数据质量
数据质量中的常见术语
数据收集错误 数据收集错误是指诸如遗漏数据对象或属性值，或不当地包含了其他数据
对象等错误，如：在特定的物种研究中可能混入相似物种的数据。值得注意的 是：测量和数据收集错误可能是系统的也可能是随机的。
数据质量
数据质量中的常见术语
遗漏值
在大型的资料采集任务中，即使有非常严格的品质控制，含有缺项、漏项 的记录也可能很容易的达到10%。因此，遗漏值是统计人员和资料获取人员所不 愿意见到的，但也是无法避免的。特别是在进行敏感问题的调查时，遗漏值问 题就显得更加突出。
数据预处理
数据预处理方法
数据清洗 下图显示了在数据库中通过分析后得出的数据缺失数和缺失率。
数据预处理
数据预处理方法
数据清洗
（3）噪声数据 噪声数据是指数据中存在着错误或异常(偏离期望值)的数据，这些数据对
数据的分析造成了干扰。噪声数据主要包含错误数据、假数据和异常数据。在 大数据中，最常见的噪声数据是异常数据，也称为异常值。它是指由于系统误 差，人为误差或者固有数据的变异使得他们与总体的行为特征，结构或相关性 等不一样的数据。在机器学习中，异常值也被称为“离群点”，它是指在某种 意义上具有不同于数据集中其他大部分数据对象的特征的数据对象，或是相对 于该属性的典型值来说不寻常的属性值。值得注意的是：离群点本身应当是人 们感兴趣的对象，并且它可以是合法的数据对象或值。
的数据。例如：源系统中的数据不在给定的范围内或对于实际业务毫无意义， 或是数据格式非法，以及在源系统中存在不规范的编码和含糊的业务逻辑。
例如，员工表中有一个员工，名称叫“张超”，但是公司里并没有这个人 ，该员工数据就是脏数据。
数据质量
数据质量中的常见术语
数据收集错误 数据收集错误是指诸如遗漏数据对象或属性值，或不当地包含了其他数据
对象等错误，如：在特定的物种研究中可能混入相似物种的数据。值得注意的 是：测量和数据收集错误可能是系统的也可能是随机的。
数据质量
数据质量中的常见术语
遗漏值
在大型的资料采集任务中，即使有非常严格的品质控制，含有缺项、漏项 的记录也可能很容易的达到10%。因此，遗漏值是统计人员和资料获取人员所不 愿意见到的，但也是无法避免的。特别是在进行敏感问题的调查时，遗漏值问 题就显得更加突出。
数据预处理
数据预处理方法
数据清洗 下图显示了在数据库中通过分析后得出的数据缺失数和缺失率。
数据预处理
数据预处理方法
数据清洗
（3）噪声数据 噪声数据是指数据中存在着错误或异常(偏离期望值)的数据，这些数据对
数据的分析造成了干扰。噪声数据主要包含错误数据、假数据和异常数据。在 大数据中，最常见的噪声数据是异常数据，也称为异常值。它是指由于系统误 差，人为误差或者固有数据的变异使得他们与总体的行为特征，结构或相关性 等不一样的数据。在机器学习中，异常值也被称为“离群点”，它是指在某种 意义上具有不同于数据集中其他大部分数据对象的特征的数据对象，或是相对 于该属性的典型值来说不寻常的属性值。值得注意的是：离群点本身应当是人 们感兴趣的对象，并且它可以是合法的数据对象或值。
数据清洗技术-36页PPT文档资料共38页
数据清洗技术-36页PPT文档资料
56、极端的法规，就是极端的不公。 ——西 塞罗 57、法律一旦成为人们的需要，人们 就不再 配享受 自由了 。—— 毕达哥 拉斯 58、法律规定的惩罚不是为了私人的 利益， 而是为 了公共 的利益 ；一部 分靠有 害的强 制，一 部分靠 榜样的 效力。 ——格 老秀斯 59、假如没有法律他们会更快乐的话 ，那么 法律作 为一件 无用之 物自己 就会消 灭。— —洛克
60、人民的幸福是至高无个的法。— —西塞 罗
46、我们若已接受最坏的，就再没有什么损失。——卡耐基 47、书到用时方恨少、事非经过不知难。——陆游 48、书籍把我们引入最美好的社会，使我们认识各个时代的伟大智者。——史美尔斯 49、熟读唐诗三百首，不会作诗也会吟。——孙洙 50、谁和我一样用功，谁就会和我一样成功。——莫扎特
ห้องสมุดไป่ตู้
56、极端的法规，就是极端的不公。 ——西 塞罗 57、法律一旦成为人们的需要，人们 就不再 配享受 自由了 。—— 毕达哥 拉斯 58、法律规定的惩罚不是为了私人的 利益， 而是为 了公共 的利益 ；一部 分靠有 害的强 制，一 部分靠 榜样的 效力。 ——格 老秀斯 59、假如没有法律他们会更快乐的话 ，那么 法律作 为一件 无用之 物自己 就会消 灭。— —洛克
60、人民的幸福是至高无个的法。— —西塞 罗
46、我们若已接受最坏的，就再没有什么损失。——卡耐基 47、书到用时方恨少、事非经过不知难。——陆游 48、书籍把我们引入最美好的社会，使我们认识各个时代的伟大智者。——史美尔斯 49、熟读唐诗三百首，不会作诗也会吟。——孙洙 50、谁和我一样用功，谁就会和我一样成功。——莫扎特
ห้องสมุดไป่ตู้
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
目录
一、数据清洗工作流程 二、数据清洗内容 三、数据清洗规则 四、数据清洗策略 五、证件号码清洗报告
Excellent courseware
一、数据清洗工作流程
Excellent courseware
二、数据清洗内容 （一）必录项及重要指标项空缺 （二）指标值异常 （三）指标值之间逻辑关系异常 （四）业务逻辑关系异常 （五）贫困户、贫困人口重复
Excellent courseware
五、证件号码清洗报告
（六）清洗结果检查 在数据清洗工作结束后，对证件号码进行抽查，并通
过证件号码清洗规则对数据进行排查，重新进行数据抽取 、数据质量评估等工作，直至数据质量满足数据分析质量 要求。
Excellent courseware
三、数据清洗规则
（6）仅“识别标准”不同 （7）仅“家庭人员数量”不同 （8）家庭成员互为户主 （9）拆户分户情况 （10）嫁娶、改嫁，户口迁移情况
Excellent courseware
四、数据清洗策略
（一）后台批量处理 1.指标值含有空字符 2.指标值含有特殊字符 3.非指标体系代码选项 4.指标值间存在逻辑关系， 如错误出生日期可从正确身份证中提取 并做更新处理
Excellent courseware
三、数据清洗规则
（一）必录项及重要指标项空缺 1.贫困户识别标准为空 2.贫困户属性为空 3.主要致贫原因为空 4.脱贫状态标识为空 5.行政区划为空 6.证件号码为空
Excellent courseware
三、数据清洗规则
（一）必录项及重要指标项空缺 7.文化程度为空 8.健康状况为空 9.劳动技能为空 10.务工状况为空 11.在校生情况为空 ……
Excellent courseware
三、数据清洗规则
（五）贫困户、贫困人口重复 （1）姓名不一致，如：王思妍，王恩妍 （2）性别不一致 （3）文化程度不一致 （4） ……
Excellent courseware
三、数据清洗规则
（五）贫困户、贫困人口重复 （5）多省交界处，户籍地混乱
Excellent courseware
Excellent courseware
五、证件号码清洗报告
（五）清洗策略 1.证件号码清洗
（4）非15、18、20位的证件号码，除中国人民解放军军 官证以外，其他证件类型的证件号码，提取问题数据逐级 下发，前台核实修改
（5）15位证件号码，需升级为18位，将问题数据逐级下 发，前台采集补录
Excellent courseware
Excellent courseware
三、数据清洗规则
（二）指标值异常 1.证件号码不符合校验规则 2.其他致贫原因超过两项 3.出生日期与身份证号中的出生日期不符
Excellent courseware
三、数据清洗规则
（二）指标值异常 4.务工时间不符合指标采集规范
5.人均纯收入为0或超5位数
“01”
Excellent courseware
五、证件号码清洗报告
（五）清洗策略 3.证件类型与证件号码不符 （1）已通过身份证规则校验的18位证件号码，若证件类 型为“残疾人证” ，且健康状况为“残疾” ，属残疾人 无残疾证范畴，与残联进行比对后更新。其他情况，统一 批量修改为“居民身份证（户口簿）” （2）已通过残疾证规则校验的20位证件号码，证件类型 批量修改为“残疾人证”，健康状况修改为“残疾”
6.与村主干路距离超过50公里 ……
Excellent courseware
三、数据清洗规则
（三）指标值之间逻辑关系异常 1.务工状况为“非务工”，务工时间不为0 2.贫困户无务工人员，却有工资性收入 3.贫困人口丧劳，有外出务工情况
Excellent courseware
三、数据清洗规则
（三）指标值之间逻辑关系异常 4.年收入逻辑关系异常 5.人均纯收入逻辑关系异常 6.低保贫困户无低保金
2.贫困户家庭无残疾人，主要致贫原因为“因残”
3.贫困户家庭成员健康状况全部为“健康”， 主要致贫原因为“因病”。
Excellent courseware
三、数据清洗规则
（四）业务逻辑关系异常 4.返贫户在上一年度贫困户属性非“已脱贫” 5.贫困户空挂 7.脱贫户人均纯收入低于国家贫困标准 8.年龄在16-60周岁的健康人口劳动能力为“丧劳” 9.五保户（含五保贫困户、五保农户）存在年龄在16-60 周岁的劳动力
Excellent courseware
四、数据清洗策略
（二）前台核实修改 1.提取待清洗数据逐级下发 2.基层扶贫部门核实修改
（三）前台采集补录 1.将应填未填项逐级下发 2.基层扶贫部门采集录入
Excellent courseware
五、证件号码清洗报告
（一）清洗内容 1.证件号码重复 2.证件号码有误 3.证件类型值异常 4.证件类型与证件号码不符
五、证件号码清洗报告
（五）清洗策略
2.证件类型清洗
（1）证件类型为空的，如果证件号码符合身份证和残疾
人证校验规则，可以通过后台批量处理；否则逐级下发问
题数据，通过前台采集补录
（2）证件类型非指标体系代码项的数据，如指标值记录
为“1”的数据，且证件类型确应为“居民身份证（户口
簿）”，通过后台批量处理，统一将证件类型修改为
Excellent courseware
五、证件号码清洗报告
（二）清洗规则 1.证件号码重复 2.证件号码包含空字符 3.证件号码位数非15、18、20位 4. 18位身份证是否符合校验规则 5. 20位残疾证是否符合校验位及残疾类型、等级规则 6.证件类型为空或非指标体系代码项 7.证件类型与证件号码不符
Excellent courseware
五、证件号码清洗报告
（五）清洗策略 1.证件号码清洗 （1）证件号码重复的，提取问题数据并提供修改建议 ，逐级下发，由基层扶贫部门核实后在前台修改 （2）证件号码未采集的（空值），将问题数据逐级下 发，由基层扶贫部门进行前台采集补录 （3）证件号码包含空字符的，首先从后台批量剔除空 字符，然后再进行一轮数据清洗处理
Excellent courseware
三、数据清洗规则
（三）指标值之间逻辑关系异常 7. “与户主关系”和“性别”不符
8.贫困户“家庭人数”与实际人口数不符
9.贫困户存在多个户主
10. 残疾人无残疾证
Excellent courseware
三、数据清洗规则
（四）业务逻辑关系异常 1.贫困户家庭无在校生，主要致贫原因）清洗策略 1.证件号码清洗
（6）对于证件号码为18、20位的错误数据，证件号码中 第18位校验码应为“X”，但原采集录入为“ｘ、全角Ｘ 、*、×”等字符的，可通过后台批量处理，统一替换为 英文半角大写X；其他情况需提取问题数据逐级下发，由 基层扶贫部门核实后在前台修改
Excellent courseware
一、数据清洗工作流程 二、数据清洗内容 三、数据清洗规则 四、数据清洗策略 五、证件号码清洗报告
Excellent courseware
一、数据清洗工作流程
Excellent courseware
二、数据清洗内容 （一）必录项及重要指标项空缺 （二）指标值异常 （三）指标值之间逻辑关系异常 （四）业务逻辑关系异常 （五）贫困户、贫困人口重复
Excellent courseware
五、证件号码清洗报告
（六）清洗结果检查 在数据清洗工作结束后，对证件号码进行抽查，并通
过证件号码清洗规则对数据进行排查，重新进行数据抽取 、数据质量评估等工作，直至数据质量满足数据分析质量 要求。
Excellent courseware
三、数据清洗规则
（6）仅“识别标准”不同 （7）仅“家庭人员数量”不同 （8）家庭成员互为户主 （9）拆户分户情况 （10）嫁娶、改嫁，户口迁移情况
Excellent courseware
四、数据清洗策略
（一）后台批量处理 1.指标值含有空字符 2.指标值含有特殊字符 3.非指标体系代码选项 4.指标值间存在逻辑关系， 如错误出生日期可从正确身份证中提取 并做更新处理
Excellent courseware
三、数据清洗规则
（一）必录项及重要指标项空缺 1.贫困户识别标准为空 2.贫困户属性为空 3.主要致贫原因为空 4.脱贫状态标识为空 5.行政区划为空 6.证件号码为空
Excellent courseware
三、数据清洗规则
（一）必录项及重要指标项空缺 7.文化程度为空 8.健康状况为空 9.劳动技能为空 10.务工状况为空 11.在校生情况为空 ……
Excellent courseware
三、数据清洗规则
（五）贫困户、贫困人口重复 （1）姓名不一致，如：王思妍，王恩妍 （2）性别不一致 （3）文化程度不一致 （4） ……
Excellent courseware
三、数据清洗规则
（五）贫困户、贫困人口重复 （5）多省交界处，户籍地混乱
Excellent courseware
Excellent courseware
五、证件号码清洗报告
（五）清洗策略 1.证件号码清洗
（4）非15、18、20位的证件号码，除中国人民解放军军 官证以外，其他证件类型的证件号码，提取问题数据逐级 下发，前台核实修改
（5）15位证件号码，需升级为18位，将问题数据逐级下 发，前台采集补录
Excellent courseware
Excellent courseware
三、数据清洗规则
（二）指标值异常 1.证件号码不符合校验规则 2.其他致贫原因超过两项 3.出生日期与身份证号中的出生日期不符
Excellent courseware
三、数据清洗规则
（二）指标值异常 4.务工时间不符合指标采集规范
5.人均纯收入为0或超5位数
“01”
Excellent courseware
五、证件号码清洗报告
（五）清洗策略 3.证件类型与证件号码不符 （1）已通过身份证规则校验的18位证件号码，若证件类 型为“残疾人证” ，且健康状况为“残疾” ，属残疾人 无残疾证范畴，与残联进行比对后更新。其他情况，统一 批量修改为“居民身份证（户口簿）” （2）已通过残疾证规则校验的20位证件号码，证件类型 批量修改为“残疾人证”，健康状况修改为“残疾”
6.与村主干路距离超过50公里 ……
Excellent courseware
三、数据清洗规则
（三）指标值之间逻辑关系异常 1.务工状况为“非务工”，务工时间不为0 2.贫困户无务工人员，却有工资性收入 3.贫困人口丧劳，有外出务工情况
Excellent courseware
三、数据清洗规则
（三）指标值之间逻辑关系异常 4.年收入逻辑关系异常 5.人均纯收入逻辑关系异常 6.低保贫困户无低保金
2.贫困户家庭无残疾人，主要致贫原因为“因残”
3.贫困户家庭成员健康状况全部为“健康”， 主要致贫原因为“因病”。
Excellent courseware
三、数据清洗规则
（四）业务逻辑关系异常 4.返贫户在上一年度贫困户属性非“已脱贫” 5.贫困户空挂 7.脱贫户人均纯收入低于国家贫困标准 8.年龄在16-60周岁的健康人口劳动能力为“丧劳” 9.五保户（含五保贫困户、五保农户）存在年龄在16-60 周岁的劳动力
Excellent courseware
四、数据清洗策略
（二）前台核实修改 1.提取待清洗数据逐级下发 2.基层扶贫部门核实修改
（三）前台采集补录 1.将应填未填项逐级下发 2.基层扶贫部门采集录入
Excellent courseware
五、证件号码清洗报告
（一）清洗内容 1.证件号码重复 2.证件号码有误 3.证件类型值异常 4.证件类型与证件号码不符
五、证件号码清洗报告
（五）清洗策略
2.证件类型清洗
（1）证件类型为空的，如果证件号码符合身份证和残疾
人证校验规则，可以通过后台批量处理；否则逐级下发问
题数据，通过前台采集补录
（2）证件类型非指标体系代码项的数据，如指标值记录
为“1”的数据，且证件类型确应为“居民身份证（户口
簿）”，通过后台批量处理，统一将证件类型修改为
Excellent courseware
五、证件号码清洗报告
（二）清洗规则 1.证件号码重复 2.证件号码包含空字符 3.证件号码位数非15、18、20位 4. 18位身份证是否符合校验规则 5. 20位残疾证是否符合校验位及残疾类型、等级规则 6.证件类型为空或非指标体系代码项 7.证件类型与证件号码不符
Excellent courseware
五、证件号码清洗报告
（五）清洗策略 1.证件号码清洗 （1）证件号码重复的，提取问题数据并提供修改建议 ，逐级下发，由基层扶贫部门核实后在前台修改 （2）证件号码未采集的（空值），将问题数据逐级下 发，由基层扶贫部门进行前台采集补录 （3）证件号码包含空字符的，首先从后台批量剔除空 字符，然后再进行一轮数据清洗处理
Excellent courseware
三、数据清洗规则
（三）指标值之间逻辑关系异常 7. “与户主关系”和“性别”不符
8.贫困户“家庭人数”与实际人口数不符
9.贫困户存在多个户主
10. 残疾人无残疾证
Excellent courseware
三、数据清洗规则
（四）业务逻辑关系异常 1.贫困户家庭无在校生，主要致贫原因）清洗策略 1.证件号码清洗
（6）对于证件号码为18、20位的错误数据，证件号码中 第18位校验码应为“X”，但原采集录入为“ｘ、全角Ｘ 、*、×”等字符的，可通过后台批量处理，统一替换为 英文半角大写X；其他情况需提取问题数据逐级下发，由 基层扶贫部门核实后在前台修改
Excellent courseware