Chapter 3- Data Preprocessing

数据预处理的步骤1. 数据清洗（Data Cleaning）：数据清洗是指去除数据集中不相关、不准确、重复或错误的数据。

数据清洗的过程包括以下几个方面：-去除重复数据：检查数据集中是否有完全相同的记录，并去除重复的数据。

-处理缺失值：检查数据集中是否存在缺失值，并根据实际情况进行处理。

可以选择删除缺失值过多的记录、使用平均值或中位数填充缺失值，或使用插值法进行填充等。

-处理异常值：检查数据集中是否存在异常值，并根据实际情况进行处理。

可以选择删除异常值、替换异常值为缺失值，或使用插值法进行处理等。

2. 缺失值处理（Missing values processing）：缺失值处理是指对数据集中的缺失值进行填充或删除的处理过程。

常用的缺失值处理方法包括以下几种：-删除缺失值：直接删除包含缺失值的记录。

当缺失值占比较大时，可以选择删除包含缺失值的记录。

-均值、中位数填充：用特征的均值或中位数来填充缺失值。

-插值法：根据数据的分布进行插值估计，例如使用线性插值、多项式插值或样条插值法等。

-使用特殊值填充：可以将缺失值替换为特殊的数值，例如0或-13. 异常值处理（Outlier processing）：异常值处理是指对数据集中的异常值进行处理的过程。

常用的异常值处理方法包括以下几种：-删除异常值：直接删除包含异常值的记录。

-替换异常值：将异常值替换为缺失值（NaN）或一些特定的数值。

-离群值检测和修正：通过离群值检测方法（如3σ原则、箱线图等）来判断异常值，并根据实际情况进行修正。

-数据变换：对含有异常值的特征进行变换，例如取对数、平方根等。

4. 特征选择（Feature Selection）：特征选择是指从原始数据集中选择最相关的特征。

常用的特征选择方法包括以下几种：- 过滤法（Filter）：通过评估特征与目标变量之间的相关性，选择与目标变量相关性较高的特征。

- 包装法（Wrapper）：使用特定的学习算法进行特征子集，并通过交叉验证等方法评估特征子集的性能。

大数据预处理整体架构
数据 资产
统一的数据视图
数据
传统清洗工具
ቤተ መጻሕፍቲ ባይዱ
分布式并处理模式
清洗 （DataWrangler、InfoSphere QualityStage） （内存计算Spark、批处理MapReduce、流计算Storm）
数据 储存
结构化数据 电子表格和传统的关系型数据库：甲骨文 （Oracle RDBMS)、阿里（RDS)、人大金仓等
Bin的划分方法一般有两种，一种是等高方法，即每个Bin中的元素的个
数相等；另一种是等宽方法，即每个Bin的取值间距（左右边界之差）
相同。
b in 中个 数
b in中个 数
等高bin
属性 值
等宽bin
属性 值
噪声数据处理
例如：
排序后价格：4,8,15,21,21,24,25,28,34
划分为等高度bin： —Bin1：4,8,15 —Bin2：21,21,24 —Bin3：25,28,34
Sqoop和 DataX
数据迁移
非结构化数据 凌潮（云谷）、华为（FusionInsight）、
IBM(BigInsights)、EMC（Pivotal）等
在线（API）
离线
数据
来源
数据采集
数据交换 （贵阳大数据交易所， .）
大数据预处理整体架构
结构化数据可以存储在传统的关系型数据库中 非结构化数据可以存储在新型的分布式存储中 半结构化数据可以存储在新型的分布式NoSQL数据库中
大数据预处理整体架构
结构化数据和非结构化数据之间的数据可以按照数据处理的需求进行迁 移。 比如：为了进行快速并行处理，需要将传统关系型数据库中的结构化数 据导入到分布式存储中，可以利用Sqoop等工具，先将关系型数据库的 表结构导入分布式数据库（Hive），然后再向分布式数据库的表中导入 结构化数据。

Variance and standard deviation (sample: s, population: σ)

Variance: (algebraic, scalable computation)
1 n 1 n 2 1 n 2 2 2 s ( xi x ) [ xi ( xi ) ] n 1 i 1 n 1 i 1 n i 1
Data Mining
Data Warehouse Data Cleaning and Integration Databases
2014/9/23
Flat files
2
Review

Learning the application domain
relevant prior knowledge and goals of application


Descriptive data summarization
Data cleaning Data integration and transformation Data reduction Discretization and concept hierarchy generation Summary
Creating a target data resource Data cleaning and preprocessing: (may take 60% of effort!) Data reduction and transformation
Find useful features, dimensionality/variable reduction, invariant representation

14
如何处理空缺值？
1）忽略元组： •若一条记录中有属性值被遗漏了，则将该记录排除在数据挖掘之外 •但是，当某类属性的空缺值所占百分比很大时，直接忽略元组会使挖掘 性能变得非常差
2）忽略属性列： •若某个属性的缺失值太多，则在整个数据集中可以忽略该属性
3.2 数据清理
15
如何处理空缺值？
3）人工填写空缺值： • 工作量大，可行性低
,求在距离阈值d大于等于4，非邻点样本的阈值部分p大于等于3时的噪声数据。
首先，求数据集的欧几里得距离，使用 d=(x 1x2)2 (y 1y2)2+ (z1z2)2 ，计算结果如表所示。
表 数据集S的距离表
4.583
5.196 1.414
6.164 3.606 2.236
3.742 3.317 3.606 4.690
• 缺失值的处理； • 噪声数据； • 不一致数据。
3.2 数据清理
13
– 引起空缺值的原因 • 设备异常 • 与其他已有数据不一致而被删除 • 因为误解而没有被输入的数据 • 在输入时，有些数据因为得不到重视而没有被输入 • 对数据的改变没有进行日志记载
– 空缺值要经过推断而补上
3.2 数据清理
− 数据质量要求
准确性； 完整性； 一致性； 时效性； 可信性； 可解释性。
− 数据预处理的任务
数据清理（清洗） 去掉数据中的噪声，纠正不一致。
数据集成 将多个数据源合并成一致的数据存储，构成一个完整的数据集，如数据仓库。
数据归约（消减） 通过聚集、删除冗余属性或聚类等方法来压缩数据。
4）使用属性的中心度量值填充空缺值： • 如一条属于a类的记录在A属性上存在缺失值，那么可以用该属性上 属于a类全部记录的平均值来代替该缺失值。 • 如面对顾客一次来超市时最常消费的钱数这一字段，可以按照顾客的 年龄这一字段进行分类，使用处于相同年龄段的顾客的平均消费的钱 数来填充缺失值。