数据预处理工作

- 1 - 数据预处理的主要流程

随着数据科学和人工智能的发展，数据处理逐渐成为了各个领域的重要环节。而数据预处理作为数据处理的前置环节，其重要性更是不言而喻。数据预处理是指在数据分析中对原始数据进行整理、清洗、转换和集成等一系列处理，以提高后续分析的准确性和可信度。本文将介绍数据预处理的主要流程，以帮助读者更好地理解和应用数据预处理技术。

一、数据获取

数据获取是数据预处理的第一步，也是最基础的步骤。数据获取的方式有很多，例如从数据库中提取数据、从网络爬虫中抓取数据、从外部系统中导入数据等。数据获取的关键是要保证数据的完整性和准确性。在获取数据时，需要考虑数据的来源、数据的格式、数据的结构等因素，以便更好地进行后续的处理。

二、数据清洗

数据清洗是数据预处理的核心环节，也是最复杂的环节。数据清洗的目的是消除数据中存在的噪声、异常值和缺失值等不规则数据，从而提高数据的质量和可信度。数据清洗的流程包括以下几个步骤：

1. 去除重复数据：如果数据集中存在重复数据，需要将其去重，以避免重复计算和分析。

2. 处理缺失值：数据中可能存在一些缺失值，需要进行处理。处理缺失值的方法包括填充缺失值、删除缺失值等。

3. 处理异常值：数据中可能存在一些异常值，需要进行处理。 - 2 - 处理异常值的方法包括删除异常值、替换异常值等。

4. 处理噪声数据：数据集中可能存在一些噪声数据，需要进行处理。处理噪声数据的方法包括平滑处理、滤波处理等。

三、数据转换

数据转换是数据预处理的另一个重要环节，其目的是将数据转换为更适合分析的形式。数据转换的流程包括以下几个步骤：

1. 数据规范化：数据规范化是指将数据统一到同一个尺度上。数据规范化的方法包括最小-最大规范化、Z-Score规范化等。

2. 数据离散化：数据离散化是指将连续数据转换为离散数据。数据离散化的方法包括等频离散化、等宽离散化等。

Landsat 8简介及数据预处理

OLI陆地成像仪包括9个波段，空间分辨率为30米，其中包括一个15米的全色波段，成像宽幅为185x185km。

OLI包括了ETM+传感器所有的波段，为了避免大气吸收特征，OLI对波段进行了重新调整，比较大的调整是OLI Band5(0.845–0.885 μm)，排除了0.825μm处水汽吸收特征；OLI全色波段Band8波段范围较窄，这种方式可以在全色图像上更好区分植被和无植被特征；

此外，还有两个新增的波段：蓝色波段 (band 1; 0.433–0.453 μm) 主要应用海岸带观测，短波红外波段(band 9; 1.360–1.390 μm) 包括水汽强吸收特征可用于云检测；近红外band5和短波红外band9与MODIS对应的波段接近。

OLI陆地成像仪 TM

序号 波段 波段（um） 空间分辨率(m) 波段（um） 空间分辨率(m)

1 蓝色波段 0.433—0.453 30

2 Blue 0.450–0.515 30 0.450–0.52 30

3 Green 0.525–0.600 30 0.52–0.60 30

4 Red 0.630–0.680 30 0.63–0.69 30

5 Near IR 0.845–0.885 30 0.76–0.90 30

6 SWIR 1.560–1.660 30 1.55–1.75 30

7 2.100–2.300 30 10.40—12.50（热红外） 120

8 全色 0.500–0.680 15 2.08–2.35 30

9 短波红外 1.360–1.390 30

10 中心波长10.9微米 100

11 中心波长12.0微米 100

Landsat8数据打开和辐射定标处理

美国的USGS（/）网站提供最新的Landsat8数据下载，产品类型标示L1GT，与之前的数据格式类似，每个波段以.tif文件提供，元数据存放在_MTL.txt文件中。Landsat8增加了几个波段，详细信息浏览：/s/blog_764b1e9d01016gvh.html。

如何进行数据预处理与清洗

数据预处理与清洗是数据分析的重要前置工作，通常来说，原始数据存在着大量的噪声、异常值、缺失值等问题，这些问题都极大地影响了数据分析的结果。因此，在进行数据分析之前，必须对数据进行预处理和清洗。本文将分享如何进行数据预处理和清洗，使得数据分析结果更加准确和信任。

一、数据预处理

数据预处理是指对数据进行初步的处理，包括数据的采集、整理、转换等过程。数据预处理的主要目的是为了使数据的格式更加符合数据分析的要求，方便后续的数据分析工作。

1. 数据采集

数据采集是指从各种不同的信息来源中，获得需要分析的数据。数据的来源可以是数据库、网络、文件、传感器等等。通常来说，数据的采集是一个比较繁琐的过程，需要对数据进行筛选和过滤，只选择与分析目的相关的数据。

2. 数据整理

数据整理是指对已经采集的数据进行整理和合并，以方便分析。通常来说，数据整理需要考虑数据格式的一致性、缺失值的情况以及异常值等问题。常见的数据整理方法有删除重复记录、数据重构和标准化等。

3. 数据转换

数据转换是指对数据进行必要的转换，使得数据能够更好地使用。通常来说，数据转换包括计算新的变量、数据筛选和数据抽样等。

二、数据清洗

数据清洗是指对数据中的噪声、异常值、缺失值或错误数据进行处理，以提高数据的质量和准确性。数据清洗是数据预处理过程中最关键的部分，也是最繁琐的部分。

1. 处理噪声数据

噪声数据是指无意义或不相关的数据，这些数据通常会干扰数据分析的结果。处理噪声数据的方法有：删除噪声数据、平滑噪声数据和抑制噪声数据等。其中，删除噪声数据是最简单和直接的方法，但是需要注意删除的数据是否是合理的。

2. 处理异常值

异常值是指数据中可能存在的不常见或不合理的数据。异常值的出现可能是由于数据采集错误、传输错误或者数据存储错误引起的。处理异常值的方法有：删除异常值、填充异常值和替换异常值等。删除异常值是最简单和直接的方法，但也需要注意删除的数据是否是合理的。

数据预处理（data preprocessing）是指在主要的处理以前对数据进行的一些处理。如对大部分地球物理面积性观测数据在进行转换或增强处理之前，首先将不规则分布的测网经过插值转换为规则网的处理，以利于计算机的运算。另外，对于一些剖面测量数据，如地震资料预处理有垂直叠加、重排、加道头、编辑、重新取样、多路编辑等

数据挖掘中的数据预处理

现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提前数据挖掘的质量产生了数据预处理技术。 数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。

数据清理

用来自多个联机事务处理 (OLTP) 系统的数据生成数据仓库的进程的一部分。该进程必须解决不正确的拼写、两个系统之间冲突的拼写规则和冲突的数据（如对于相同的部分具有两个编号）之类的错误。

编码或把资料录入时的错误，会威胁到测量的效度。数据清理主要解决数据文件建立中的人为误差，以及数据文件中一些对统计分析结果影响较大的特殊数值。常用的数据清理方法包括可编码式清理和联列式清理。

数据清理例程通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。主要是达到如下目标：格式标准化，异常数据清除，错误纠正，重复数据的清除。

数据集成

数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有了很多成熟的框架可以利用。目前通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。

数据集成例程将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。

数据变换

通过平滑聚集，数据概化，规范化等方式将数据转换成适用于数据挖掘的形式。