第4 页
2.2 数据预处理
1、数据预处理(data preprocessing) 在多数据源集成为统一数据集之前进行的数据清洗、数据
变换、数据规约等数据处理过程。 2、预处理的目的
消除多数据源集成存在的问题，为数据仓库或数据挖掘提 供一个完整、干净、准确、且有针对性的数据集合。
第5 页
2.2 数据预处理
第 10 页
2.2 数据预处理
(2) 分箱技术的步骤： ① 对数据集的数据进行排序； ② 确定箱子个数k、选定数据分箱的方法并对数据集中数据进行
分箱； ③ 选定处理箱子数据的方法，并对其重新赋值。
(3) 常用分箱方法 等深分箱、等宽分箱、自定义区间和最小熵分箱法。 (4)一般假设
箱子数为k，n(nk)个数据的数据集且按非减方式排序为 S={a1,a2,…,an)，即ai[ a1, an]。
第6 页
2.2 数据预处理
① 重命名属性：对数据仓库或数据挖掘需要的属性重新赋给它 们含义明确，便于理解记忆和使用的属性名称。
数据源使用“WHCD”和“CSRQ”分别作为公民“文化程度 ”和“出生日期”的属性名。
在数据仓库中我们选用“Education” 和“Birthday”来代替 ，不仅含义明确，且可读性强，使用方便。
第 12 页
2.2 数据预处理
例2-1：设A={1, 2, 3, 3, 4, 4, 5, 6, 6, 7, 7, 8, 9,11}共14个 数据， 请用等深分箱法将其分成k=4个箱子。
解：因为k=4，n=14，所以p=n/k=14/4=3，q=143*4=2。由于数据集A已排序，因此前2个箱放4个，后为2 个箱放3个数据。 第1个箱子B1={1, 2, 3, 3}， B2={ 4, 4, 5, 6,}， B3={6, 7, 7}， B4={8, 9, 11}。
