基于不完备数据聚类的缺失数据填补方法_武森

格式：pdf
大小：1.27 MB
文档页数：13

８期ቤተ መጻሕፍቲ ባይዱ
武森等：基于不完备数据聚类的缺失数据填补方法
１７２７
往是不完整的．对这种有缺失数据的数据集，在此称为不完备的数据集．实际上，缺失数据是知识工程领域一个重要的热议问题
［３］
对缺失数据进行填补，是为了在填补后的数据上完成具体问题的数据分析．简单而又常见的填补）方法是全局常量填补法（和属性均ｃｏｎｓｔａｎｔｌｏｂａｌｇ
［６］）值填补法（文献［研究指出：在ａｔｔｒｉｂｕｔｅｍｅａｎ．８］
在数据挖掘中缺失数据．
经常处理不当，与缺失数据相关的有价值的知识往
４］本文针对缺失数据问题展开研究，提往被忽略了［．
这些方法同丢弃具有缺失数据的记大多数情况下，录一样会生成有偏的结果，但有一些更复杂的填补，例如多重填补（对缺失方法，ｍｕｌｔｉｌｅｉｍｕｔａｔｉｏｎ）ｐｐ数据的处理更有效．多重填补不同于每一个缺失项），其通过填补一个值的单一填补（ｓｉｎｌｅｉｍｕｔａｔｉｏｎｇｐ填补多个值以对填补的不确定性做出评价．热平台
；）、收稿日期：最终修改稿收到日期：本课题得到国家自然科学基金（中央高校基本科研业务费专项资金２０１０１１１６２０１１０４２４．７０７７１００７－－－－（）资助．武森，女，博士，教授，博士生导师，中国计算机学会（会员，主要研究方向为智能数据分析、ＦＲＦＰ１０００６Ｂ１９７１年生，ＣＣＦ）－Ｔ－－：ｗ知识发现和数据挖掘．冯小东，男，博士研究生，主要研究方向为数据挖掘、聚类分析．Ｅ－ｍａｉｌｕｓｅｎ＠ｍａｎａｅ．ｕｓｔｂ．ｅｄｕ．ｃｎ．１９８８年生，ｇ单志广，男，博士，研究员，中国计算机学会（理事，主要研究方向为信息系统性能评价．１９７４年生，ＣＣＦ）
ＭｉｓｓｉｎＤａｔａＩｍｕｔａｔｉｏｎＡｒｏａｃｈＢａｓｅｄｏｎＩｎｃｏｍｌｅｔｅＤａｔａＣｌｕｓｔｅｒｉｎｇｐｐｐｐｇ
１１２ＷＵＳｅｎＥＮＧＸｉａｏｏｎＨＡＮＺｈｉｕａｎＦ－Ｄ－ＧｇＳｇ
）ＵｎｉｖｅｒｓｉｔｏＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏＢｅｉｉｎＢｅｉｉｎ０００８３ｙｆｇｙｊｇ，ｊｇ１
２）（
）ＩｎｏｒｍａｔｉｚａｔｉｏｎＲｅｓｅａｒｃｈＤｅａｒｔｍｅｎｔ，ＳｔａｔｅＩｎｏｒｍａｔｉｏｎＣｅｎｔｅｒ，Ｂｅｉｉｎ０００４５ｆｐｆｊｇ１
第３５卷第８期２０１２年８月
计算机学报ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ
Ｖｏｌ．３５Ｎｏ．８Ａｕ．２０１２ｇ
基于不完备数据聚类的缺失数据填补方法
武森冯小东单志广
１引言
在实际数据分析中，经常遇到数据缺失问题．
［］过４这可能是由于０％的数据库都含有缺失数据１．２］数据获取限制，数据理解有误或数据漏读［等多方
面原因造成的，使得在数据挖掘中面临的数据集往
ｒｏｃｅｓｓｉｎｒｏｂｌｅｍｒｅｒｏｃｅｓｓｉｎＡｂｓｔｒａｃｔｉｓｓｉｎｄａｔａｉｓａｎｉｍｏｒｔａｎｔｏｆｄａｔａｉｎｄａｔａｍｉｎｉｎＭ－ｐｐｇｐｐｇｇｐｇ，ｍｉｓｓｉｎｄａｔａｆｉｌｌｉｎｍｅｔｈｏｄｓａｒｅｍｏｓｔｌｂａｓｅｄｏｎｓｏｍｅｓｔａｔｉｓｔｉｃａｌｈｏｔｈｅｓｉｓｆｉｅｌｄ．Ｔｒａｄｉｔｉｏｎａｌｇｇｙｙｐ，ｓｕｃｈａｓｄｉｓｔｒｉｂｕｔｉｏｎｗｈｉｃｈｍｉｈｔｎｏｔｂｅｔｈｅｍｏｓｔａｌｉｃａｂｌｅａｒｏａｃｈｅｓｆｏｒｄａｔａｍｉｎｒｏｂａｂｉｌｉｔ－ｇｐｐｐｐｐｙ，ｉｎｏｆｌａｒｅｄａｔａｓｅｔ．ＩｎｓｉｒｅｄｂＲＯＵＳＴＩＤＡａｎｉｎｃｏｍｌｅｔｅｄａｔａａｎａｌｓｉｓａｒｏａｃｈｎｏｔｕｓｉｎｇｇｐｙｐｙｐｐｇ，ｒｏｂａｂｉｌｉｔｓｔａｔｉｓｔｉｃａｌｍｅｔｈｏｄｓＭＩＢＯＩｉｓｆｏｒｍｉｓｓｉｎｄａｔａｉｍｕｔａｔｉｏｎｂａｓｅｄｏｎｉｎｃｏｍｒｏｏｓｅｄ－ｐｙｇｐｐｐｌｅｔｅｄａｔａｃｌｕｓｔｅｒｉｎ．ＣｏｎｓｔｒａｉｎｔＴｏｌｅｒａｎｃｅＳｅｔＤｉｓｓｉｍｉｌａｒｉｔｉｓｄｅｆｉｎｅｄｆｏｒｉｎｃｏｍｌｅｔｅｄａｔａｓｅｔｏｆｐｇｙｐ，ｃａｔｅｏｒｉｃａｌｖａｒｉａｂｌｅｓｓｏｔｈｅｅｎｅｒａｌｄｉｓｓｉｍｉｌａｒｉｔｏｆａｌｌｔｈｅｉｎｃｏｍｌｅｔｅｄａｔａｏｂｅｃｔｓｉｎａｓｅｔｃａｎｂｅｇｙｐｊｇ，ｄｉｒｅｃｔｌｃｏｍｕｔｅｄａｎｄｔｈｅｍｉｓｓｉｎｄａｔａｉｓｉｍｕｔｅｄａｃｃｏｒｄｉｎｔｏｔｈｅｉｎｃｏｍｌｅｔｅｄａｔａｃｌｕｓｔｅｒｉｎｒｅ－ｙｐｇｐｇｐｇｓｕｌｔｓ．ＴｈｅｅｍｉｒｉｃａｌｔｅｓｔｓｕｓｉｎＵＣＩｂｅｎｃｈｍａｒｋｄａｔａｓｅｔｓｓｈｏｗｔｈａｔＭＩＢＯＩｉｓｅｆｆｅｃｔｉｖｅａｎｄｆｅａｓｉ－ｐｇｂｌｅ．；；；Ｋｅｗｏｒｄｓａｔａｉｍｕｔａｔｉｏｎｉｎｃｏｍｌｅｔｅｄａｔａｃｌｕｓｔｅｒｉｎｃｏｎｓｔｒａｉｎｔｔｏｌｅｒａｎｃｅｓｅｔｄｉｓｓｉｍｉｌａｒｉｔｄｐｐｇｙｙ作为机器学习领域基准数据库的ＵＣＩ数据集中超
［５］填补（和冷平台填补（ｈｏｔｄｅｃｋｉｍｕｔａｔｉｏｎ）ｃｏｌｄｐ［５］）都是典型的单一填补方法．热平ｉｍｕｔａｔｉｏｎｄｅｃｋｐ
出基于不完备数据聚类的缺失数据填补方法ＭＩ－ＢＯＩ（ＭｉｓｓｉｎｄａｔａＩｍｕｔａｔｉｏｎａｒｏａｃｈＢａｓｅｄＯｎｇｐｐｐ该方法通过定义约束Ｉｎｃｏｍｌｅｔｅｄａｔａｃｌｕｓｔｅｒｉｎ．ｐｇ），容差集合差异度从集合的角度判断不完备数据对象的总体相异程度，进而以不完备数据聚类的结果为基础实现缺失数据的填补．采用ＵＣＩ机器学习数据集中４个常用的分类变量基准数据集进行实验，结果表明：且缺失数据填补的质ＭＩＢＯＩ效率很高，量也比较高．本文第２节总结缺失数据填补的相关工作；第３节定义基于不完备数据聚类进行缺失数据填补第４节提出并证明进行缺失数据填补的基本概念；的相关定理；第５节给出算法步骤；第６节用实验证明算法的有效性；第７节进行全文总结．
１）（
）
）
）
ＤｅａｒｔｍｅｎｔｏＭａｎａｅｍｅｎｔＳｃｉｅｎｃｅａｎｄＥｎｉｎｅｅｒｉｎＤｏｎｌｉｎＳｃｈｏｏｌｏＥｃｏｎｏｍｉｃｓａｎｄＭａｎａｅｍｅｎｔ，ｐｆｇｇｇ，ｇｇｆｇ

几种常见的缺失数据插补方法

几种常见的缺失数据插补方法（一）个案剔除法(Listwise Deletion)最常见、最简单的处理缺失数据的方法是用个案剔除法(listwise deletion)，也是很多统计软件（如SPSS和SAS）默认的缺失值处理方法。

在这种方法中如果任何一个变量含有缺失数据的话，就把相对应的个案从分析中剔除。

如果缺失值所占比例比较小的话，这一方法十分有效。

至于具体多大的缺失比例算是“小”比例，专家们意见也存在较大的差距。

有学者认为应在5%以下，也有学者认为20%以下即可。

然而，这种方法却有很大的局限性。

它是以减少样本量来换取信息的完备，会造成资源的大量浪费，丢弃了大量隐藏在这些对象中的信息。

在样本量较小的情况下，删除少量对象就足以严重影响到数据的客观性和结果的正确性。

因此，当缺失数据所占比例较大，特别是当缺数据非随机分布时，这种方法可能导致数据发生偏离，从而得出错误的结论。

（二）均值替换法(Mean Imputation)在变量十分重要而所缺失的数据量又较为庞大的时候，个案剔除法就遇到了困难，因为许多有用的数据也同时被剔除。

围绕着这一问题，研究者尝试了各种各样的办法。

其中的一个方法是均值替换法(mean imputation)。

我们将变量的属性分为数值型和非数值型来分别进行处理。

如果缺失值是数值型的，就根据该变量在其他所有对象的取值的平均值来填充该缺失的变量值；如果缺失值是非数值型的，就根据统计学中的众数原理，用该变量在其他所有对象的取值次数最多的值来补齐该缺失的变量值。

但这种方法会产生有偏估计，所以并不被推崇。

均值替换法也是一种简便、快速的缺失数据处理方法。

使用均值替换法插补缺失数据，对该变量的均值估计不会产生影响。

但这种方法是建立在完全随机缺失（MCAR）的假设之上的，而且会造成变量的方差和标准差变小。

（三）热卡填充法（Hotdecking）对于一个包含缺失值的变量，热卡填充法在数据库中找到一个与它最相似的对象，然后用这个相似对象的值来进行填充。

统计学中的缺失数据处理与插补方法

统计学中的缺失数据处理与插补方法在统计学中，缺失数据是一种常见的问题。

缺失数据指的是在数据收集过程中，某些变量或观测值无法获取或丢失的情况。

这可能是由于实验条件、技术限制、调查对象的拒绝或其他原因导致的。

缺失数据的存在会对统计分析结果产生不良影响，因此需要采用适当的方法进行处理和插补。

一、缺失数据的类型在进行缺失数据处理之前，我们需要了解不同类型的缺失数据。

常见的缺失数据类型包括：1. 完全随机缺失（MCAR）：缺失数据的出现与观测值本身或其他变量无关，是完全随机的。

在这种情况下，缺失数据对统计分析结果没有影响。

2. 随机缺失（MAR）：缺失数据的出现与观测值本身无关，但与其他变量相关。

在这种情况下，缺失数据对统计分析结果可能产生偏差。

3. 非随机缺失（NMAR）：缺失数据的出现与观测值本身相关，并且与其他变量相关。

在这种情况下，缺失数据对统计分析结果产生严重偏差。

二、插补方法针对不同类型的缺失数据，统计学家们提出了各种插补方法。

下面介绍几种常见的插补方法：1. 删除法：对于缺失数据较少且缺失数据是MCAR的情况，可以选择直接删除缺失数据所在的观测值。

这种方法简单快捷，但会导致样本容量减小，可能影响统计分析结果的准确性。

2. 最小二乘法插补：对于MAR类型的缺失数据，可以使用最小二乘法进行插补。

该方法通过建立一个回归模型，利用已有数据预测缺失数据的值。

然后，将预测值代替缺失数据进行分析。

3. 多重插补法：多重插补法是一种常用的处理缺失数据的方法。

该方法通过多次模拟生成多个完整的数据集，每个数据集都包含通过预测模型得到的不同插补值。

然后，基于这些完整的数据集进行统计分析，并将结果进行汇总。

4. 均值插补法：对于MCAR类型的缺失数据，可以使用均值插补法。

该方法将缺失数据的均值或中位数代替缺失值，使得数据集的整体分布不发生明显改变。

5. 模型法插补：对于NMAR类型的缺失数据，可以使用模型法进行插补。

数据缺失值的4种处理方法

数据缺失值的4种处理方法数据缺失值的4种处理方法一、缺失值产生的原因缺失值的产生的原因多种多样，主要分为机械原因和人为原因。

机械原因是由于机械原因导致的数据收集或保存的失败造成的数据缺失，比如数据存储的失败，存储器损坏，机械故障导致某段时间数据未能收集(对于定时数据采集而言)。

人为原因是由于人的主观失误、历史局限或有意隐瞒造成的数据缺失，比如，在市场调查中被访人拒绝透露相关问题的答案，或者回答的问题是无效的，数据录入人员失误漏录了数据。

二、缺失值的类型缺失值从缺失的分布来讲可以分为完全随机缺失，随机缺失和完全非随机缺失。

完全随机缺失(missing completely at random,MCAR)指的是数据的缺失是随机的，数据的缺失不依赖于任何不完全变量或完全变量。

随机缺失(missing at random,MAR)指的是数据的缺失不是完全随机的，即该类数据的缺失依赖于其他完全变量。

完全非随机缺失(missing not at random,MNAR)指的是数据的缺失依赖于不完全变量自身。

从缺失值的所属属性上讲，如果所有的缺失值都是同一属性，那么这种缺失成为单值缺失，如果缺失值属于不同的属性，称为任意缺失。

另外对于时间序列类的数据，可能存在随着时间的缺失，这种缺失称为单调缺失。

三、缺失值的处理方法对于缺失值的处理，从总体上来说分为删除存在缺失值的个案和缺失值插补。

对于主观数据，人将影响数据的真实性，存在缺失值的样本的其他属性的真实值不能保证，那么依赖于这些属性值的插补也是不可靠的，所以对于主观数据一般不推荐插补的方法。

插补主要是针对客观数据，它的可靠性有保证。

1.删除含有缺失值的个案主要有简单删除法和权重法。

简单删除法是对缺失值进行处理的最原始方法。

它将存在缺失值的个案删除。

如果数据缺失问题可以通过简单的删除小部分样本来达到目标，那么这个方法是最有效的。

当缺失值的类型为非完全随机缺失的时候，可以通过对完整的数据加权来减小偏差。

不完全数据分析与统计学中的缺失值处理方法

不完全数据分析与统计学中的缺失值处理方法在数据分析和统计学领域，缺失值是一种常见的问题。

缺失值是指在数据集中某些变量的某些观测值缺失或未被记录的情况。

这可能是由于记录错误、数据采集过程中的问题或者被调查者拒绝回答问题等原因造成的。

缺失值的存在会对数据分析和统计推断产生不利影响，因此需要采取适当的方法来处理缺失值。

一、删除法删除法是最简单和直接的缺失值处理方法之一。

它的核心思想是将包含缺失值的观测值或变量从数据集中删除，以确保数据集的完整性。

这种方法适用于缺失值的比例较低且缺失值没有特定的模式的情况。

然而，使用删除法会导致数据集的样本量减少，可能会影响统计推断的准确性。

二、插补法插补法是一种常用的缺失值处理方法，它通过根据已有的数据来估计缺失值，并将估计值代替原始的缺失值。

常见的插补方法包括均值插补、回归插补和多重插补等。

1. 均值插补均值插补是一种简单而直接的插补方法，它将缺失值替换为变量的平均值。

这种方法适用于缺失值的比例较低且缺失值与其他变量之间没有明显关联的情况。

然而，均值插补忽略了变量之间的相关性，可能会引入估计误差。

2. 回归插补回归插补是一种基于回归模型的插补方法，它通过建立一个回归模型来预测缺失值。

回归插补的核心思想是利用其他变量与缺失变量之间的关系来估计缺失值。

这种方法适用于缺失值与其他变量之间存在一定的相关性的情况。

然而，回归插补的准确性依赖于回归模型的选择和建立的质量。

3. 多重插补多重插补是一种基于蒙特卡洛模拟的插补方法，它通过多次生成缺失值的估计值来减少估计误差。

多重插补的核心思想是通过模拟多个可能的数据集来估计缺失值，并将这些估计值的平均值作为最终的插补结果。

这种方法适用于缺失值的比例较高且缺失值与其他变量之间存在复杂的关联的情况。

然而，多重插补的计算复杂度较高，需要进行多次模拟，因此在大规模数据集上可能不太实用。

三、模型法模型法是一种基于建立模型的缺失值处理方法，它通过建立一个包含缺失值的模型来处理缺失值。

下载提示

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

基于不完备数据聚类的缺失数据填补方法_武森

合集下载

几种常见的缺失数据插补方法

统计学中的缺失数据处理与插补方法

数据缺失值的4种处理方法

不完全数据分析与统计学中的缺失值处理方法

文档推荐

最新文档