当前位置：文档之家 › 数学建模缺失数据补充及异常数据修正

数学建模缺失数据补充及异常数据修正

  • 格式：doc
  • 大小：157.50 KB
  • 文档页数：10

题目：数据的预处理问题

摘要

数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响着人类社会发展的进程。数据补充，异常数据的鉴别及修正，在各个领域也起到了重要作用。

对于第一问，我们采用了多元线性回归的方法对缺失数据进行补充，我们将（见附表一）中的数据导入matlab。首先作出散点图，设定y(X59287)与x1(X54511)、x2(X57494)的关系为二元线性回归模型，即y=b0+b1x1+b2x2。之后作多元回归，求出系数b0=，b1=，b2=，所以多元线性回归多项式为:Y=+*x1+*x2。再作出残差分析图验证拟合效果，残差较小，说明回归多项式与源数据吻合得较好。若x1=，x2=时，y的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=。类似地，若x1=,x2=时，y的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=，即可补充缺失数据。

对于第二问，我们使用了异常值检验中标准差未知的t检验法。将除可疑测定值dx以外的其余测定值当做一个总体，并假设该总体服从正态分布。由这些测定值计算平均值x与标准差s，而将可疑值dx当做一个样本容量为1的特殊总体。如果dx与其余测定值同属于一个总体，则它与其余测定值之间不应有显着性差异。检测统计量为：xxkd，假设可由标准差s替代来进行检验,则检测统计量可视为：sxxkd。若统计量值大于相应置信度下的t检验法的临界值T（该临界值通过查表法得出），则将dx判为异常值。由此算法即可鉴别出相应的异常数据。

对于第三问，对于问题三，我们采用了分段线性插值，最近方法插值，三次样条函数插值以及三次多项式方法插值法来修正数据异常。同时也需利用外插法修正最后一个数据的异常。通过各种插值方法的比较，发现三次样条方法较为准确，并较好的对异常数据进行修正。

关键词：多元线性回归，t检验法，分段线性插值，最近方法插值，三次样条插值，三次多项式插值

C38 姓名 学号 专业

队长 康伟振 应数长望

队员一 卜维新 网络工程

队员二 李兰馨 应用气象 一、 问题重述

背景

在数学建模过程中总会遇到大数据问题。一般而言，在提供的数据中，不可避免会出现较多的检测异常值，怎样判断和处理这些异常值，对于提高检测结果的准确性意义重大。

需要解决的问题

（1）给出缺失数据的补充算法；

（2）给出异常数据的鉴别算法；

（3）给出异常数据的修正算法。

二、 模型分析

问题（1）的分析

属性值数据缺失经常发生甚至不可避免。

（一） 较为简单的数据缺失

（1） 平均值填充

如果空值为数值型的，就根据该属性在其他所有对象取值的平均值来填充缺失的属性值；如果空值为非数值型的，则根据众数原理，用该属性在其他所有对象的取值次数最多的值（出现频率最高的值）来补齐缺失的属性值。

(2) 热卡填充（就近补齐）

对于包含空值的数据集，热卡填充法在完整数据中找到一个与其最相似的数据，用此相似对象的值进行填充。

(3) 删除元组

将存在遗漏信息属性值的元组删除。

(二)较为复杂的数据缺失

(1)多元线性回归 当有缺失的一组数据存在多个自变量时，可以考虑使用多元线性回归模型。将所有变量包括因变量都先转化为标准分，再进行线性回归，此时得到的回归系数就能反映对应自变量的重要程度。

问题（2）的分析

属性值异常数据鉴别很重要。

我们可以采用异常值t检验的方法比较前后两组数据的平均值，与临界值相比较即可辨别数据异常并剔除异常数据。

将除可疑测定值dx以外的其余测定值当做一个总体，并假设该总体服从正态分布。由这些测定值计算平均值x与标准差s，而将可疑值dx当做一个样本容量为1的特殊总体。如果dx与其余测定值同属于一个总体，则它与其余测定值之间不应有显着性差异。检测统计量为：xxkd，假设可由标准差s替代来进行检验,则检测统计量可视为：sxxkd。若统计量值大于相应置信度下的t检验法的临界值T（该临界值通过查表法得出），则将dx判为异常值。

问题（3）的分析

对于数据修正，我们采用各种插值算法进行修正，这是一种行之有效的方法。

（1）分段线性插值

将每两个相邻的节点用直线连起来，如此形成的一条折线就是分段线性插值函数，记作xIn，它满足iinyxI，且xIn在每个小区间1,iixx上是线性函数xInni,,1,0。

xIn可以表示为

xIn有良好的收敛性，即对于bax,有，

用 xIn计算x 点的插值时，只用到x 左右的两个节点，计算量与节点个数n 无关。但n 越大，分段越多，插值误差越小。实际上用函数表作插值计算时，分段线性插值就足够了，如数学、物理中用的特殊函数表，数理统计中用的概率分布表等。

(2) 三次多项式算法插值 当用已知的n+1个数据点求出插值多项式后，又获得了新的数据点，要用它连同原有的n+1个数据点一起求出插值多项式，从原已计算出的n次插值多项式计算出新的n+1次插值多项式很困难，而此算法可以克服这一缺点。

（3）三次样条函数插值[4]

数学上将具有一定光滑性的分段多项式称为样条函数。三次样条函数为：对于ba,上的分划：nxxxa10=b，则，

利用样条函数进行插值，即取插值函数为样条函数，称为样条插值。

三、 模型假设

1.假设只有因变量存在数据缺失，而自变量不存在缺失。

2.利用t检验法时，将除可疑测定值dx以外的其余测定值当做一个总体，并假设该总体服从正态分布。

四、

问题（1）的分析与求解

问题分析

本题需要对缺失数据进行补充，情况可分为数据集中单一元素缺失及某一元组缺失两种情况。因此，对数据处理采用同上模型分析的处理方法。

问题处理

我们将（见附表一）中的数据导入matlab（程序见附录一）。首先作出散点图。

设定y(X59287)与x1(X54511)、x2(X57494)的关系为二元线性回归模型，即y=b0+b1x1+b2x2。之后作多元回归，求出系数b0=，b1=，b2=，所以多元线性回归多项式为:Y=+*x1+*x2。由matlab编程所得结果图如下4-2所示。

图4-2

再作出残差分析图验证拟合效果，残差较小，说明回归多项式与源数据吻合得较好。若x1=，x2=时，y的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=。类似地，若x1=,x2=时，y的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=，即可补充缺失数据。

五、 问题（2）的分析与求解 问题分析

本题需要对给定缺失数据进行鉴别，可以采用的方法为t检验检测法。T检验用t分布理论来推论差异发生的概率，从而比较两个平均数的差异是否显着。

问题处理

(一)随机产生数据

由R系统随机产生数据对其进行缺失数据鉴别，代码如附录四所示，结果图如下5-1,5-2，5-3所示。

图5-1

图5-2

图5-3

(二)给定相应数据

对于问题二，在数据完整但出现异常的情况下，可以考虑使用异常值检验中标准差未知的t检验法。将除可疑测定值dx以外的其余测定值当做一个总体，并假设该总体服从正态分布。由这些测定值计算平均值x与标准差s，而将可疑值dx当做一个样本容量为1的特殊总体。如果dx与其余测定值同属于一个总体，则它与其余测定值之间不应有显着性差异。检测统计量为：xxkd，假设可由标准差s替代来进行检验,则检测统计量可视为：sxxkd。若统计量值大于相应置信度下的t检验法的临界值T（该临界值通过查表法得出），则将dx判为异常值。具体数据见附表二，具体程序详见附录二，结果图如下5-4所示。

图5-4

六、 问题（3）的分析与求解

问题分析

对于问题三，我们采用了分段线性插值，最近方法插值，三次样条函数插值以及三次多项式方法插值法来修正数据异常。同时也需利用外插法修正最后一个数据的异常。详见对问题三的处理原理。

具体代码见附录三。

附录一 多元线性回归matlab程序

clear; data1=xlsread('C:\Users\Lenovo\Desktop\');

%做出散点图

figure(1)

scatter3(data1(:,4),data1(:,5),data1(:,6),'r');

x=[ones(262,1),data1(:,4),data1(:,5)];

y=data1(:,6);

[b,bint,r,rint,stats]=regress(y,x);

xlabel('X54511(x1)');

ylabel('X57494(x2)');

zlabel('X59287(y)');

text,,,'回归方程式为：y=++','color','b');

title('x1,x2,y的关系：','color','m');

%做残差分析图

figure(2)

reoplot(r,rint);

xlabel('数据');ylabel('残差');

title('残差绘制图');

%补缺失数据

x1=[,];

y1=x1*b;

x2=[,];

y2=x2*b;

附录二 t检验spss代码

GET DATA

/TYPE=XLS /FILE='C:\Users\bwx\Desktop\'

/SHEET=name 'Sheet1'

/CELLRANGE=full

/READNAMES=on

/ASSUMEDSTRWIDTH=32767.

EXECUTE.

DATASET NAME 数据集2 WINDOW=FRONT.

T-TEST

/TESTVAL=0

/MISSING=ANALYSIS

/VARIABLES=y

/CRITERIA=CI(.95).

附录三 插值修正数据matlab代码

clear

>> T=0:5:65

T =

0 5 10 15 20 25 30 35 40 45 50

55 60 65

>> X=2:5:57

X =

2 7 12 17 22 27 32 37 42 47 52

57

>> F=[,,,,,,,,,,,,,];

>> F1=interp1(T,F,X)

F1 =

+003 *

合集下载

数据插补的方法

数据插补的方法

数据插补的方法

一、引言

数据插补是一种常见的数据处理方法，用于填补缺失值或补全不完整的数据序列。在实际应用中，由于各种原因（如传感器故障、网络异常等），数据可能会出现缺失或不完整的情况，这时候就需要使用数据插补方法来处理这些问题。

本文将介绍几种常见的数据插补方法，并对其优缺点进行分析和比较。

二、常见的数据插补方法

1. 线性插值法

线性插值法是最简单、最基础的数据插补方法之一。它假设缺失值在两个已知数据点之间，且在这两个点之间变化是线性的。具体地，设已知两个点 $(x_1, y_1), (x_2, y_2)$，则对于 $x_1 \leq x \leq

x_2$ 的任意 $x$，可以通过以下公式计算其对应的 $y$ 值：

$$y = y_1 + \frac{y_2 - y_1}{x_2 - x_1} (x - x_1)$$

线性插值法简单易懂，计算速度快，但它假设变化是线性的，在某些情况下可能会产生较大误差。

2. 拉格朗日插值法

拉格朗日插值法是一种多项式插值方法，它通过已知数据点构造一个多项式函数，再用该函数计算缺失值。具体地，设已知 $n+1$ 个点

$(x_0, y_0), (x_1, y_1), \cdots, (x_n, y_n)$，则可以构造一个 $n$ 次多项式函数：

$$L(x) = \sum_{i=0}^n y_i \prod_{j=0,j\neq i}^n \frac{x - x_j}{x_i -

x_j}$$

对于任意 $x$，都可以用 $L(x)$ 计算其对应的 $y$ 值。

拉格朗日插值法可以精确地拟合已知数据点，但当数据量较大时计算复杂度较高，并且容易产生龙格现象（即在插值区间两端出现震荡的现象）。

3. 样条插值法

样条插值法是一种分段多项式插值方法，它将整个插值区间划分为若干小区间，在每个小区间内构造一个低次数的多项式函数。具体地，在每个小区间内，设已知两个点 $(x_i, y_i), (x_{i+1}, y_{i+1})$，则可以构造一个三次样条函数：

2023深圳杯数学建模a题数据处理

2023深圳杯数学建模a题数据处理

【文章标题】：深圳杯数学建模a题数据处理深度解析

【正文】

一、引言

2023年深圳杯数学建模竞赛，a题涉及到数据处理的部分，是一个需要深入思考和分析的重要主题。数据处理在当今社会信息爆炸的时代显得尤为重要，但要处理好数据，需要我们具备相应的基础知识和技能。本文将从多个角度对深圳杯数学建模a题的数据处理部分进行深度解析，帮助读者更好地理解和掌握这一重要主题。

二、数据处理的基本概念

在介绍深圳杯数学建模a题数据处理的具体方法之前，我们首先需要了解数据处理的基本概念。数据处理是指对收集到的原始数据进行整理、清洗、分析和解释的过程。在这个过程中，我们需要运用各种数学、统计学和计算机科学的方法和工具，以便从海量的数据中提取出有用的信息和规律。数据处理的基本流程包括数据收集、数据存储、数据清洗、数据分析和数据可视化等环节。只有经过系统的处理，原始数据才能转化为有用的信息，为决策和实践提供有效的支持。

三、2023深圳杯数学建模a题数据处理的具体要求

深圳杯数学建模a题的具体要求是对大量的实际数据进行处理和分析，以揭示其中的内在规律和特点。在这一过程中，参赛者需要结合题目提供的背景信息和具体问题，构建相应的数学模型和算法，对数据进行深入分析，并得出合理的结论和建议。这需要参赛者具备坚实的数学、统计学和计算机科学基础，以及良好的逻辑思维和分析能力。

四、探究数据处理方法与技巧

1. 数据清洗与预处理

数据清洗是数据处理的第一步，也是最关键的一步。在这一阶段，我们需要对原始数据进行查缺补漏、去重复、处理缺失值、异常值和离群点等工作，以保证数据的质量和准确性。在深圳杯数学建模a题中，数据清洗工作尤为重要，因为原始数据往往存在各种杂音和错误，如果不进行清洗，就会对后续的分析和建模造成严重影响。

2. 数据分析与建模

数据清洗完成后，接下来就是数据分析和建模的过程。在这一阶段，我们需要选择合适的统计方法和建模技术，对清洗后的数据进行进一步的挖掘和分析。根据深圳杯数学建模a题的具体要求，参赛者需要结合实际情况构建相应的数学模型，并通过计算机进行模拟和试验，得出合理的结论和建议。

数据缺失处理方法

数据缺失处理方法

数据缺失处理方法

一、引言

在数据分析和研究过程中，经常会遇到数据缺失的情况。数据缺失是指数据集中某些观测变量的值缺失或不完整的情况。数据缺失可能会导致分析结果的偏差和不准确性，因此需要采取适当的方法来处理数据缺失问题。本文将介绍几种常见的数据缺失处理方法。

二、数据缺失的类型

数据缺失可以分为三种类型：完全随机缺失、随机缺失和非随机缺失。

1. 完全随机缺失：缺失数据的出现与其他变量无关，是完全随机的。

2. 随机缺失：缺失数据的出现与其他变量有关，但缺失的概率是随机的。

3. 非随机缺失：缺失数据的出现与其他变量有关，并且缺失的概率是非随机的。

三、常见的数据缺失处理方法

1. 删除缺失值

最简单的处理方法是直接删除含有缺失值的样本或变量。这种方法适用于数据缺失比例较低的情况，但会导致样本量的减少，可能会影响后续分析的结果。

2. 插补缺失值

插补是指通过一定的方法来估计和填补缺失值。常见的插补方法有：

- 均值插补：用变量的均值来替代缺失值。适用于连续变量且缺失值较少的情况。

- 中位数插补：用变量的中位数来替代缺失值。适用于连续变量且缺失值较少的情况。 - 众数插补：用变量的众数来替代缺失值。适用于离散变量且缺失值较少的情况。

- 回归插补：通过建立回归模型来预测缺失值。适用于缺失值与其他变量相关的情况。

- K近邻插补：根据与缺失样本最相似的K个样本的值来预测缺失值。适用于缺失值与其他变量相关的情况。

3. 建立缺失指示变量

对于缺失值较多的变量，可以建立一个缺失指示变量来表示是否存在缺失值。这样可以保留原始数据的信息，并且不会引入额外的偏差。

4. 使用专门的缺失值处理算法

除了上述常见的处理方法外，还有一些专门的缺失值处理算法，如多重插补法（Multiple Imputation）、期望最大化算法（Expectation-Maximization algorithm）等。这些算法可以更准确地估计缺失值，并且可以处理各种类型的数据缺失。

2012年数学建模A题优秀论文

2012年数学建模A题优秀论文

实用标准文档

文案大全 基于数理分析的葡萄评价体系

摘要

葡萄酒质量的好坏主要依赖于评酒员的感观评价，由于人为主观因素的影响，对于酒质量的评价总会存在随机差异，为此找到一种简单有效的客观方法来评酒，就显得尤为重要了。本文通过研究酿酒葡萄的好坏与所酿葡萄酒的质量的关系，以及葡萄酒和酿酒葡萄检测的理化指标的关系，以及葡萄酒理化指标与葡萄酒质量的关系，旨在通过客观数据建立数学模型，用客观有效的方法来评价葡萄酒质量。

对于问题一，我们首先用配对样品t 检验方法研究两组评酒员评价差异的显著性，将红葡萄酒与白葡萄酒进行分类处理，用SPSS 软件对两组评酒员的评分的各个指标以及总评分进行了配对样本t 检验。得到的部分结果显示：红葡萄酒外观色调、香气质量的评价存在显著性差异，其他单指标的评价不存在显著差异， 白葡萄、红葡萄以及整体的评价存在显著性差异。 接着我们建立了数据可信度评价模型比较两组数据的可信性，将数据的可信度评价转化成对两组评酒员评分的稳定性评价。首先我们对单个评酒员评分与该组所有评酒员评分的均值的偏差进行了分析，偏差不稳定的点就成为噪声点，表明此次评分不稳定。然后我们用两组评酒员评分的偏差的方差衡量评酒员的稳定性。得到第2 组的方差明显小于第1 组的，从而得出了第2 组评价数据的可信度更高的结论。

对于问题二，我们根据酿酒葡萄的理化指标和葡萄酒质量对葡萄进行了分级。一方面，我们对酿酒葡萄的一级理化指标的数据进行标准化，基于主成分分析法对其进行了因子分析，并且得到了27 种葡萄理化指标的综合得分及其排序。另一方面，我们又对附录给出的各单指标百分制评分的权重进行评价，并用信息熵法重新确定了权重，用新的权重计算出27 种葡萄酒质量的综合得分并排序。最后我们对两个排名次序用基于模糊数学评价方法将葡萄的等级划分为1-5

级。

对于问题三，首先我们将众多的葡萄理化指标用主成分分析法综合成6 个主因子，并将葡萄等级也列为主因子之一。对葡萄的6 个主因子，以及葡萄酒的10 个指标用SPSS 软件进行偏相关分析，得到酒黄酮与葡萄的等级正相关性较强等结论。之后对相关性较强的主因子和指标作多元线性回归。得到了葡萄酒10 个单指标与主因子之间的多元回归方程，该回归方程定量表示两者之间的联系。