数模培训作业
论文题目缺失数据地补充及异常数据地修正
缺失数据地补充及异常数据地修正
摘 要
数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响着人类社会发展的进程。数据补充，异常数据的鉴别及修正，在各个领域也起到了重要作用。
针对第一问，我们采用了两种模型。第一种是一元多项式回归模型，适用于只有一种自变量的情况。利用我们找到的数据，首先作出散点图，观察其形状，决定拟合多项式的次数，得出拟合曲线与拟合多项式。之后算出均方根误差验证拟合效果，均方根误差较小，说明拟合曲线与源数据吻合得较好。若x1=37.25,x2=41.75,x3=44.5时,y 的数据缺失,将x1、x2、x3的值带入拟合多项式，算出缺失值y1=3.3257,y2=2.0437,y3=4.6002，即可补充缺失数据。
第二种是多元线性回归模型，适用于有多个自变量的情况。利用我们找到的数据，首先作出散点图，之后作多元回归，求出多元线性回归多项式，以及置信区间。作出残差分析图验证拟合效果，残差较小，说明回归多项式与源数据吻合得较好。若x1=0.055，x2=0.025时，y 的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=0.052792。类似地，若x1=0.110,x2=0.045时，y 的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=0.070212，即可补充缺失数据。 针对第二问，我们使用了异常值检验中标准差未知的t 检验法。首先绘制火柴棒图观察可疑测定值，可得到可疑值为第6,9,13,23,26,29,35,36,45,53行的数据。将除可疑测定值以外的其余测定值当做一个总体，并假设该总体服从正态分布。由这些测定值计算平均值x 与标准差s ，而将可疑值分别当做一个样本容量为1的特殊总体。如果可疑值与其余测定值同属于一个总体，则它与其余测定值之间不应有显著性差异。检测统计量为：σx x k d -=，假设可由标准差s 替代σ来进行检验,则检测统计量可视为：s x x k d -=。若统计量值大于相应置信度α下的t 检验法的临界值αT （该临界值通过查表法得出），则将可疑值判为异常值。通过计算我们发现，上述可疑值都是异常值。
针对第三问，我们采用了分段线性插值、三次样条函数插值以及分段三次Hermite 插值法来修正数据异常。同时也需利用外插法修正最后一个数据的异常。之后利用第二问中的t 检验判断修正后的值是否仍为异常值。检验结果显示：分段线性插值、三次样条函数插值所修正的第7个和第9个数据仍为异常值，而分段三次Hermite 插值所得到的修正值全都不是异常值。所以运用分段三次Hermite 插值得到的结果较准确。
关键词：一元多项式回归、多元线性回归、t 检验法、分段线性插值法、三次样条函数插值、分段三次Hermite 插值
一、问题重述
1、关于数据缺失时应该怎样地把缺失数据补充上来？
2、数据完整，但是数据出现异常，如何给出模型找出异常数据？
3、异常数据如何修正？
二、模型假设
1、假设只有因变量存在数据缺失，而自变量不存在缺失。
2、利用t 检验法时，将除可疑测定值d x 以外的其余测定值当做一个总体，并假设该总体服从正态分布。
3、假设可由样本值计算标准差s 替代σ来进行检验。
三、符号说明
符号 含义 RMSE
均方根误差 x
样本平均值 s
样本标准差 d x
可疑测定值 σ 总体标准差 k 检测统计量 α 置信度
αT
置信度α下的t 检验法临界值
n
样本容量
四、对问题一的分析和处理
4.1 一元多项式回归模型[1]
当有缺失的一组数据只有一个自变量时，可以考虑使用一元多项式回归模
型。我们采用的数据如下表：
表1
首先使用matlab作出散点图，观察其形状，决定拟合多项式的次数，运用matlab编程（matlab程序见附录一）得出拟合曲线与拟合多项式为：
z=0.16599*x2-13.387*x+271.62。
拟合曲线如下图所示：
图1 拟合曲线
之后算出均方根误差RMSE验证拟合效果，均方根误差RMSE=0.13931较小，说明拟合曲线与源数据吻合得较好。若x1=37.25,x2=41.75,x3=44.5时,y的数据缺失,将x1、x2、x3的值带入拟合多项式，算出缺失值y1=3.3257,y2=2.0437,y3=4.6002 ，即可补充缺失数据。
4.2 多元线性回归模型[1]
当有缺失的一组数据存在多个自变量时，可以考虑使用多元线性回归模型。我们将data.xls（见附表一）中的数据[5]导入matlab(该模型matlab程序见附录二)。首先作出散点图，设定y(PM10)与x1(SO2)、x2(NO2)的关系为二元线性回归模型，即y=b0+b1x1+b2x2。之后作多元回归，求出系数b0=0.03069，b1=-0.023695，b2=0.93619，所以多元线性回归多项式为：Y=0.03069-0.023695*x1+0.93619*x2。
且b0、b1、b2在置信度为%95的情况下的置信区间分别为[0.024906, 0.036474],[ -0.08381, 0.036419],[ 0.76259, 1.1098]。
再作出残差分析图验证拟合效果，残差较小，说明回归多项式与源数据吻合得较好。若x1=0.055，x2=0.025时，y的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=0.052792。类似地，若x1=0.110,x2=0.045时，y的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=0.070212，即可补充缺失数据。
散点图如下：
图2 散点图
残差分析图如下：
图3 残差分析图
50
100
150
200
250
-0.08
-0.06-0.04-0.0200.02
0.040.060.08残差绘制图
残差
数据
五、对问题二的分析和处理
5.1 异常值t 检验法原理 对于问题二，在数据完整但出现异常的情况下，可以考虑使用异常值检验中标准差未知的t 检验法。将除可疑测定值d x 以外的其余测定值当做一个总体，并假设该总体服从正态分布。由这些测定值计算平均值x 与标准差s ，而将可疑值d x 当做一个样本容量为1的特殊总体。如果d x 与其余测定值同属于一个总体，则它与其余测定值之间不应有显著性差异。检测统计量为：σx x k d -=，假设可由标准差s 替代σ来进行检验,则检测统计量可视为：s x x k d -=。若统计量值大于相应置信度α下的t 检验法的临界值αT （该临界值通过查表法得出），则将d x 判为异常值[2]。
5.2 举例建模找出异常值
我们将data.txt （见附表二）中的数据[5]导入matlab ，首先利用matlab 绘制火柴棒图（该模型程序见附录三）观察可疑数据，火柴棒图如下：
图4 火柴棒图
通过观察上图，得到可疑值为第6,9,13,23,26,29,35,36,45,53行的数据。
剔除这些数据后，用剩余数据计算平均值x 与标准差s 。检测统计量为：s x x k d -=。置信度α=%95，样本容量n=44时，利用查表法易得t 检验法的临界值αT =1.6802。
部分t 分布表[3]如下：
表2 t 分布表
n α=0.25 0.10 0.05 41 0.6805 1.3025 1.6829 42 0.6804 1.3020 1.6820 43 0.6802 1.3016 1.6811 44 0.6801 1.3011 1.6802 45 0.6800 1.3006 1.6794
若统计量值大于临界值αT ，则将d x 判为异常值，根据程序结果，第6,9,13,23,26,29,35,36,45,53行的数据都是异常值。
六、对问题三的分析和处理
对于问题三，我们采用了分段线性插值、三次样条函数插值以及分段三次Hermite 插值法来修正数据异常。同时也需利用外插法修正最后一个数据的异常。本问题使用的是问题二中剔除异常点的数据（数据见附表三）。
6.1 原理简介
（1）分段线性插值[4]
将每两个相邻的节点用直线连起来，如此形成的一条折线就是分段线性插值函数，记作()x I n ，它满足()i i n y x I =，且()x I n 在每个小区间[]1,+i i x x 上是线性函数()x I n ()n i ,,1,0???=。
()x I n 可以表示为
()x I n 有良好的收敛性，即对于[]b a x ,∈有，
用 ()x I n 计算x 点的插值时，只用到x 左右的两个节点，计算量与节点个数n 无关。但n 越大，分段越多，插值误差越小。实际上用函数表作插值计算时，分段线性插值就足够了，如数学、物理中用的特殊函数表，数理统计中用的概率分布表等。
（2）三次样条函数插值[4]
数学上将具有一定光滑性的分段多项式称为样条函数。三次样条函数为：对于[]b a ,上的分划?：n x x x a
利用样条函数进行插值，即取插值函数为样条函数，称为样条插值。
（3）分段三次Hermite插值[4]
如果对插值函数，不仅要求它在节点处与函数同值，而且要求它与函数有相同的一阶、二阶甚至更高阶的导数值，这就是Hermite 插值问题。
Hermite插值多项式为：
6.2 模型求解
利用matlab编程（程序见附录四），可作出利用三种插值法修正异常值的图。图如下：
图5 分段线性插值图图6 三次样条函数插值图
图7 分段三次Hermite插值图
根据程序运行结果，可得到分段线性插值的修正结果如表3：
表3 分段线性插值修正结果
行号 6 9 13 23 26 29 36 45 53
修正
0.44821 0.53229 0.40949 0.42683 0.49538 0.46451 0.28125 0.41264 0.55435 结果
三次样条函数插值的修正结果如表4：
表4 三次样条函数插值修正结果
行号 6 9 13 23 26 29 36 45 53 修正 结果
0.42682
0.59417
0.43222
0.43262
0.51929
0.43251
0.43327
0.41015
0.28295
之后利用第二问中的t 检验判断修正后的值是否仍为异常值（matlab 程序见附录五）。检验结果显示：分段线性插值和三次样条函数插值所修正的数据中，第36行的数据0.28125和0.43327仍为异常值，第53行的数据0.55435和0.28295也仍为异常值。
分段三次Hermite 插值的修正结果如表5：
表5 分段三次Hermite 插值修正结果
经过t 检验，分段三次Hermite 插值所得到的修正值全都不是异常值。所以运用分段三次Hermite 插值得到的结果较准确。
七、模型评价和推广
问题一采用的一元多项式回归和多元线性回归能够较好地解决补充缺失数据的问题，并且该两种模型兼顾了只有一个自变量和有多个自变量的情况。一元多项式回归均方根误差较小，说明拟合曲线与源数据吻合得较好，故补充的缺失数据准确度也较高。多元线性回归残差较小，说明回归多项式与源数据吻合得较好，故补充的缺失数据是可信的。
问题二采用的异常值检验中标准差未知的t 检验法能够较准确地判断出异常值。但如果样本容量太小，由标准差s 替代σ来进行检验，可能会产生误差。
问题三采用的分段三次Hermite 插值能够较好地修正异常数据。并且我们把经过修正的数据采用问题二的方法进行检验，证明所得到的修正值全都不是异常值。因此，修正后的值是较可信的。
缺失数据地补充及异常数据地修正在很多问题中都是必不可少的和基础的，不作这些数据处理就无法解决问题。本文中的模型可以运用到许多需要补充缺失数据或修正异常数据的问题中去。同时，也可利用该模型算法拓展模型在其他方面的适用范围。
八、参考文献
[1] 李柏年，MATLAB 数据分析方法，北京：机械工业出版社，2012年。
[2] 何正风，MATLAB 概率与数理统计分析，北京：机械工业出版社，2012年。
行号 6 9 13 23 26 29 36 45 53 修正结果
0.44689
0.53794
0.40949
0.42683
0.50419
0.46264
0.43618
0.41264
0.4689
[3] 盛骤，概率论与数理统计，北京：高等教育出版社，2001年。
[4] 司守奎，数学建模算法与程序，北京：国防工业出版社，2007年。
[5] 郑向东，中国大气本底观测元数据，https://www.doczj.com/doc/a412792926.html,,2013年7月21
日。
九、附录
附录一（一元多项式回归模型matlab程序）：
clear;
x=[37.0,37.5,38.0,38.5,39.0,39.5,40.0,40.5,41.0,41.5,42.0,42.5,43.0]; y=[3.40,3.00,3.00,2.27,2.10,1.83,1.53,1.70,1.80,1.90,2.35,2.54,2.90]; plot(x,y,'r*')
hold on
p=polyfit(x,y,2);
z=polyval(p,x);
plot(x,z,'g-');
xlabel('x');ylabel('y');
legend('实际散点图','拟合曲线');
RMSE1=(z-y).^2;
RMSE=sqrt(sum(RMSE1,2)/13);
text(39.0,3.30,'拟合曲线为:z=0.16599*x^2-13.387*x+271.62');
text(39.0,3.50,'均方根误差为:RMSE=0.13931');
hold off
%若x1=37.25,x2=41.75,x3=44.5时,y的数据缺失，则可用得得出的拟合曲线来计算z=0.16599*x^2-13.387*x+271.62
x1=37.25,x2=41.75,x3=44.5;
z1=0.16599*x1^2-13.387*x1+271.62;
z2=0.16599*x2^2-13.387*x2+271.62;
z3=0.16599*x3^2-13.387*x3+271.62;
%计算可得到z1=3.3257,z2=2.0437,z3=4.6002.此例说明数据缺失时可先观察数据，拟合出多项式曲线，再求出缺失的数据。
附录二（多元线性回归模型matlab程序）：
clear;
data1=xlsread('H:\data.xls');
%做出散点图
figure(1)
scatter3(data1(:,6),data1(:,7),data1(:,8),'r.');
x=[ones(262,1),data1(:,6),data1(:,7)];
y=data1(:,8);
[b,bint,r,rint,stats]=regress(y,x);
xlabel('SO2(X1)');
ylabel('NO2(X2)');
zlabel('PM10(Y)');
text(0.1,0.06,0.2,'回归关系式为:Y=0.03069-0.023695*X1+0.93619*X2','color','b');
title('PM10（Y）和SO2（X1）、NO2（X2）的关系','color','m');
%做残差分析图
figure(2)
rcoplot(r,rint);
xlabel('数据');ylabel('残差');
title('残差绘制图');
%补缺失数据
x1=[1 0.055 0.025];
y1=x1*b;
x2=[1 0.110 0.045];
y2=x2*b;
%y1=0.052792;y2=0.070212.
附录三（t检验法matlab程序）：
clear;
load H:\data.txt;
load H:\data1.txt;
s=sum(data(:,7),1)/53;
alpha=0.05;n=44;T=1.6802;y=1;a=1;
stem(data(:,7));%观察异常值.
%观察异常值.可得到异常值为第6,9,13,23,26,29,35,36,45,53行.
%把不是异常的个体看成一个整体data1,异常个体看成data2
data2=[1.004571;0.888936;0.77689;0.856265;0.79843;0.935673;0.630218;0 .812906;0.101234];
aver=sum(data1(:,7),1)/44;
s=sqrt(sum((data1(:,7)-aver).^2,1)/44);
for y=1:9
K(y,1)=abs(data2(y,1)-aver)./s;
if(K(y,1)>T)
H(a,1)=y;
a=a+1;
end
end
附录四（三种插值法修正异常值程序）：
clear;
load H:\data1.txt;
x0=[1,2,3,4,5,7,8,10,11,12,14,15,16,17,18,19,20,21,22,24,25,...
27,28,30,31,32,33,34,35,37,38,39,40,41,42,43,44,46,47,48,49,50,51,52]
;
y0=[ 0.442955 0.39876 0.37345 0.437790 0.44321 0.45321 0.54312 0.52145 0.34582 0.343307...
0.475664 0.423589 0.432951 0.441246 0.421128 0.416297 0.435372 0.394432 0.428593...
0.425061 0.461622 0.529131 0.460915 0.468112 0.523575 0.490494 0.472183 0.483644...
0.456781 0.425717 0.431464 0.432782 0.385745 0.388722 0.401138 0.385566 0.423361 0.401917...
0.443387 0.445423 0.573121 0.436781 0.447899 0.501123];
x=0:0.5:52;
y1=interp1(x0,y0,x);
y2=interp1(x0,y0,x,'spline');
pp1=csape(x0,y0); y3=ppval(pp1,x);
y6=interp1(x0,y0,x,'pchip');
y5=interp1(x0,y0,53,'spline','extrap');
y4=interp1(x0,y0,53,'linear','extrap');
y7=interp1(x0,y0,53,'pchip','extrap');
subplot(2,2,1), plot(x0,y0,'+',x,y1), title('Piecewise linear'); subplot(2,2,2), plot(x0,y0,'+',x,y2), title('Spline');
subplot(2,2,3), plot(x0,y0,'+',x,y6), title('pchip');
y1=y1';
y2=y2';
y3=y3';
y6=y6';
% x=53时，y4=0.55435,y5=0.28292,y7=0.4689
附录五（修正后的值作t检验的程序）：
clear;
load H:\data1.txt;
alpha=0.05;n=44;T=1.6802;y=1;a=1;
%观察异常值.可得到异常值为第6,9,13,23,26,29,36,45,53行.
%把不是异常的个体看成一个整体data1,异常个体看成data3
%用线性插值
data3=[0.44821;0.53229;0.40949;0.42683;0.49538;0.46451;0.28125;0.4126 4;0.55435];
aver=sum(data1(:,7),1)/44;
s=sqrt(sum((data1(:,7)-aver).^2,1)/44);
for y=1:9
K1(y,1)=abs(data3(y,1)-aver)./s;
if(K1(y,1)>T)
H1(a,1)=y;
a=a+1;
end
end
%用三次样条插值
b=1;
data4=[0.42682;0.59417;0.43222;0.43262;0.51929;0.43251;0.43327;0.4101 5;0.28295];
for y=1:9
K2(y,1)=abs(data4(y,1)-aver)./s;
if(K2(y,1)>T)
H2(b,1)=y;
b=b+1;
end
end
%用分段三次Hermite插值
c=1;
data5=[0.44689;0.53794;0.40949;0.42683;0.50419;0.46264;0.43618;0.4126 4;0.4689];
for y=1:9
K3(y,1)=abs(data5(y,1)-aver)./s;
if(K3(y,1)>T)
H3(c,1)=y;
c=c+1;
end
end
附表一（多元线性回归模型使用的数据）：
城市名称年月日点位代
码
点位名
称
SO2 NO2 PM10
A城2004 1 2 101 1 0.116 0.074 0.074 A城2004 1 3 101 1 0.120 0.078 0.075 A城2004 1 4 101 1 0.062 0.053 0.048 A城2004 1 5 101 1 0.050 0.042 0.021 A城2004 1 6 101 1 0.131 0.061 0.054 A城2004 1 7 101 1 0.071 0.035 0.025 A城2004 1 8 101 1 0.048 0.035 0.012 A城2004 1 9 101 1 0.045 0.035 0.011 A城2004 1 11 101 1 0.104 0.050 0.032 A城2004 1 12 101 1 0.150 0.050 0.037 A城2004 1 14 101 1 0.075 0.051 0.065
A城2004 1 16 101 1 0.017 0.028 0.037 A城2004 1 17 101 1 0.017 0.026 0.052 A城2004 1 18 101 1 0.030 0.030 0.077 A城2004 1 20 101 1 0.057 0.030 0.076 A城2004 1 21 101 1 0.053 0.017 0.062 A城2004 1 22 101 1 0.020 0.023 0.064 A城2004 1 23 101 1 0.057 0.017 0.071 A城2004 1 24 101 1 0.040 0.022 0.052 A城2004 1 25 101 1 0.031 0.031 0.056 A城2004 1 26 101 1 0.036 0.035 0.073 A城2004 1 31 101 1 0.052 0.039 0.072 A城2004 2 1 101 1 0.033 0.031 0.084 A城2004 2 2 101 1 0.065 0.038 0.082 A城2004 2 3 101 1 0.057 0.047 0.101 A城2004 2 6 101 1 0.061 0.050 0.106 A城2004 2 7 101 1 0.029 0.045 0.090 A城2004 2 8 101 1 0.037 0.052 0.095 A城2004 2 11 101 1 0.044 0.046 0.095 A城2004 2 12 101 1 0.028 0.038 0.089 A城2004 2 14 101 1 0.032 0.035 0.075 A城2004 2 15 101 1 0.038 0.043 0.063 A城2004 2 17 101 1 0.039 0.046 0.061 A城2004 2 18 101 1 0.027 0.042 0.078 A城2004 2 19 101 1 0.030 0.045 0.089 A城2004 2 20 101 1 0.031 0.029 0.053 A城2004 2 21 101 1 0.027 0.025 0.067 A城2004 2 22 101 1 0.065 0.039 0.097 A城2004 2 23 101 1 0.038 0.034 0.053 A城2004 2 25 101 1 0.030 0.036 0.109 A城2004 2 26 101 1 0.036 0.035 0.098 A城2004 2 27 101 1 0.038 0.044 0.075 A城2004 2 28 101 1 0.099 0.044 0.080 A城2004 2 29 101 1 0.039 0.018 0.028 A城2004 3 1 101 1 0.100 0.037 0.048 A城2004 3 2 101 1 0.078 0.043 0.077 A城2004 3 3 101 1 0.118 0.053 0.080 A城2004 3 5 101 1 0.135 0.048 0.076 A城2004 3 6 101 1 0.080 0.041 0.059 A城2004 3 7 101 1 0.102 0.056 0.079 A城2004 3 11 101 1 0.045 0.023 0.061 A城2004 3 12 101 1 0.071 0.038 0.070 A城2004 3 16 101 1 0.095 0.051 0.081 A城2004 3 17 101 1 0.064 0.021 0.036
A城2004 3 19 101 1 0.036 0.021 0.035 A城2004 3 20 101 1 0.023 0.017 0.020 A城2004 3 21 101 1 0.047 0.041 0.035 A城2004 3 22 101 1 0.056 0.040 0.051 A城2004 3 23 101 1 0.072 0.064 0.080 A城2004 3 24 101 1 0.040 0.024 0.038 A城2004 3 25 101 1 0.091 0.045 0.058 A城2004 3 26 101 1 0.051 0.031 0.053 A城2004 3 27 101 1 0.074 0.044 0.058 A城2004 3 28 101 1 0.060 0.040 0.049 A城2004 3 31 101 1 0.030 0.033 0.060 A城2004 4 2 101 1 0.037 0.044 0.116 A城2004 4 3 101 1 0.030 0.037 0.069 A城2004 4 4 101 1 0.050 0.045 0.074 A城2004 4 5 101 1 0.047 0.049 0.113 A城2004 4 6 101 1 0.035 0.036 0.067 A城2004 4 7 101 1 0.037 0.039 0.088 A城2004 4 8 101 1 0.034 0.050 0.125 A城2004 4 9 101 1 0.030 0.050 0.100 A城2004 4 11 101 1 0.043 0.044 0.076 A城2004 4 12 101 1 0.025 0.029 0.056 A城2004 4 13 101 1 0.022 0.028 0.055 A城2004 4 14 101 1 0.027 0.030 0.056 A城2004 4 17 101 1 0.044 0.042 0.076 A城2004 4 18 101 1 0.019 0.026 0.049 A城2004 4 22 101 1 0.037 0.027 0.075 A城2004 4 23 101 1 0.023 0.017 0.076 A城2004 4 24 101 1 0.029 0.028 0.050 A城2004 4 26 101 1 0.017 0.023 0.049 A城2004 4 27 101 1 0.074 0.053 0.080 A城2004 4 28 101 1 0.074 0.042 0.071 A城2004 4 29 101 1 0.045 0.050 0.071 A城2004 5 3 101 1 0.095 0.025 0.046 A城2004 5 7 101 1 0.056 0.039 0.058 A城2004 5 8 101 1 0.064 0.044 0.048 A城2004 5 9 101 1 0.116 0.052 0.080 A城2004 5 11 101 1 0.079 0.050 0.076 A城2004 5 12 101 1 0.108 0.034 0.047 A城2004 5 13 101 1 0.076 0.035 0.067 A城2004 5 14 101 1 0.054 0.037 0.048 A城2004 5 15 101 1 0.105 0.052 0.067 A城2004 5 16 101 1 0.073 0.038 0.072 A城2004 5 17 101 1 0.094 0.057 0.079
A城2004 5 19 101 1 0.083 0.044 0.068 A城2004 5 20 101 1 0.084 0.039 0.073 A城2004 5 22 101 1 0.078 0.034 0.054 A城2004 5 23 101 1 0.106 0.034 0.054 A城2004 5 24 101 1 0.084 0.036 0.059 A城2004 5 25 101 1 0.081 0.041 0.076 A城2004 5 27 101 1 0.095 0.037 0.073 A城2004 5 30 101 1 0.059 0.027 0.045 A城2004 5 31 101 1 0.055 0.029 0.056 A城2004 6 1 101 1 0.053 0.017 0.048 A城2004 6 2 101 1 0.065 0.034 0.076 A城2004 6 3 101 1 0.075 0.030 0.052 A城2004 6 4 101 1 0.056 0.026 0.045 A城2004 6 6 101 1 0.106 0.045 0.079 A城2004 6 8 101 1 0.091 0.029 0.066 A城2004 6 9 101 1 0.091 0.038 0.073 A城2004 6 10 101 1 0.074 0.041 0.077 A城2004 6 14 101 1 0.064 0.038 0.076 A城2004 6 15 101 1 0.032 0.033 0.045 A城2004 6 16 101 1 0.092 0.057 0.058 A城2004 6 18 101 1 0.041 0.024 0.044 A城2004 6 21 101 1 0.081 0.047 0.079 A城2004 6 22 101 1 0.096 0.041 0.082 A城2004 6 23 101 1 0.068 0.033 0.069 A城2004 6 24 101 1 0.055 0.042 0.042 A城2004 6 25 101 1 0.074 0.038 0.052 A城2004 6 26 101 1 0.084 0.037 0.059 A城2004 6 27 101 1 0.065 0.030 0.064 A城2004 6 28 101 1 0.054 0.023 0.057 A城2004 6 29 101 1 0.051 0.019 0.047 A城2004 6 30 101 1 0.065 0.020 0.054 A城2004 7 1 101 1 0.088 0.036 0.073 A城2004 7 2 101 1 0.054 0.019 0.067 A城2004 7 4 101 1 0.072 0.046 0.073 A城2004 7 6 101 1 0.132 0.033 0.076 A城2004 7 8 101 1 0.071 0.047 0.079 A城2004 7 10 101 1 0.062 0.041 0.073 A城2004 7 11 101 1 0.058 0.023 0.048 A城2004 7 12 101 1 0.051 0.026 0.045 A城2004 7 13 101 1 0.045 0.037 0.059 A城2004 7 14 101 1 0.050 0.034 0.046 A城2004 7 15 101 1 0.062 0.023 0.048 A城2004 7 16 101 1 0.063 0.028 0.047
A城2004 7 17 101 1 0.065 0.031 0.058 A城2004 7 18 101 1 0.061 0.023 0.042 A城2004 7 19 101 1 0.060 0.026 0.039 A城2004 7 20 101 1 0.090 0.033 0.067 A城2004 7 26 101 1 0.068 0.027 0.072 A城2004 7 27 101 1 0.050 0.019 0.054 A城2004 7 28 101 1 0.060 0.023 0.068 A城2004 7 29 101 1 0.080 0.040 0.076 A城2004 7 30 101 1 0.109 0.047 0.080 A城2004 8 2 101 1 0.070 0.027 0.055 A城2004 8 4 101 1 0.067 0.031 0.062 A城2004 8 6 101 1 0.044 0.021 0.054 A城2004 8 7 101 1 0.054 0.019 0.055 A城2004 8 8 101 1 0.060 0.023 0.057 A城2004 8 9 101 1 0.050 0.017 0.053 A城2004 8 10 101 1 0.037 0.016 0.053 A城2004 8 11 101 1 0.036 0.010 0.042 A城2004 8 12 101 1 0.031 0.007 0.036 A城2004 8 13 101 1 0.027 0.011 0.038 A城2004 8 14 101 1 0.044 0.016 0.050 A城2004 8 15 101 1 0.056 0.021 0.052 A城2004 8 17 101 1 0.050 0.022 0.048 A城2004 8 18 101 1 0.095 0.040 0.063 A城2004 8 21 101 1 0.078 0.031 0.055 A城2004 8 22 101 1 0.055 0.026 0.036 A城2004 8 23 101 1 0.072 0.023 0.042 A城2004 8 24 101 1 0.040 0.013 0.039 A城2004 8 25 101 1 0.041 0.010 0.042 A城2004 8 26 101 1 0.042 0.014 0.039 A城2004 8 27 101 1 0.044 0.014 0.035 A城2004 8 29 101 1 0.038 0.017 0.047 A城2004 8 31 101 1 0.039 0.027 0.038 A城2004 9 1 101 1 0.015 0.023 0.046 A城2004 9 2 101 1 0.012 0.027 0.047 A城2004 9 3 101 1 0.012 0.020 0.032 A城2004 9 5 101 1 0.013 0.018 0.045 A城2004 9 6 101 1 0.086 0.030 0.058 A城2004 9 7 101 1 0.067 0.030 0.054 A城2004 9 8 101 1 0.090 0.032 0.065 A城2004 9 9 101 1 0.104 0.040 0.063 A城2004 9 11 101 1 0.107 0.028 0.041 A城2004 9 12 101 1 0.056 0.020 0.038 A城2004 9 13 101 1 0.024 0.014 0.027 A城2004 9 14 101 1 0.055 0.034 0.047
A城2004 9 16 101 1 0.092 0.028 0.057 A城2004 9 17 101 1 0.085 0.030 0.050 A城2004 9 19 101 1 0.063 0.023 0.062 A城2004 9 20 101 1 0.051 0.025 0.044 A城2004 9 25 101 1 0.050 0.019 0.048 A城2004 9 26 101 1 0.073 0.021 0.042 A城2004 9 27 101 1 0.081 0.029 0.059 A城2004 9 29 101 1 0.051 0.023 0.057 A城2004 9 30 101 1 0.044 0.030 0.061 A城2004 10 1 101 1 0.185 0.023 0.041 A城2004 10 2 101 1 0.097 0.036 0.059 A城2004 10 3 101 1 0.072 0.029 0.050 A城2004 10 4 101 1 0.116 0.031 0.059 A城2004 10 5 101 1 0.101 0.030 0.058 A城2004 10 14 101 1 0.062 0.017 0.045 A城2004 10 15 101 1 0.066 0.032 0.055 A城2004 10 16 101 1 0.100 0.030 0.056 A城2004 10 17 101 1 0.070 0.025 0.068 A城2004 10 18 101 1 0.088 0.025 0.055 A城2004 10 19 101 1 0.129 0.032 0.074 A城2004 10 21 101 1 0.118 0.056 0.085 A城2004 10 22 101 1 0.081 0.023 0.071 A城2004 10 23 101 1 0.066 0.026 0.055 A城2004 10 24 101 1 0.078 0.030 0.071 A城2004 10 25 101 1 0.047 0.023 0.070 A城2004 10 26 101 1 0.126 0.028 0.061 A城2004 10 27 101 1 0.075 0.032 0.055 A城2004 10 28 101 1 0.072 0.037 0.062 A城2004 10 29 101 1 0.059 0.032 0.058 A城2004 10 30 101 1 0.060 0.024 0.059 A城2004 11 1 101 1 0.226 0.049 0.103 A城2004 11 4 101 1 0.091 0.042 0.088 A城2004 11 5 101 1 0.096 0.038 0.075 A城2004 11 6 101 1 0.078 0.043 0.106 A城2004 11 8 101 1 0.057 0.025 0.058 A城2004 11 9 101 1 0.062 0.027 0.053 A城2004 11 10 101 1 0.076 0.028 0.074 A城2004 11 11 101 1 0.058 0.020 0.056 A城2004 11 12 101 1 0.038 0.014 0.039 A城2004 11 13 101 1 0.017 0.019 0.027 A城2004 11 14 101 1 0.115 0.028 0.057 A城2004 11 15 101 1 0.124 0.053 0.104 A城2004 11 17 101 1 0.127 0.074 0.108
A城2004 11 20 101 1 0.164 0.048 0.072 A城2004 11 21 101 1 0.095 0.037 0.068 A城2004 11 22 101 1 0.078 0.044 0.070 A城2004 11 23 101 1 0.094 0.039 0.067 A城2004 11 24 101 1 0.069 0.023 0.048 A城2004 11 25 101 1 0.119 0.022 0.031 A城2004 11 26 101 1 0.187 0.033 0.062 A城2004 11 27 101 1 0.157 0.050 0.085 A城2004 11 30 101 1 0.128 0.034 0.084 A城2004 12 1 101 1 0.039 0.020 0.053 A城2004 12 2 101 1 0.025 0.030 0.049 A城2004 12 3 101 1 0.042 0.039 0.070 A城2004 12 4 101 1 0.050 0.037 0.067 A城2004 12 5 101 1 0.028 0.043 0.081 A城2004 12 11 101 1 0.036 0.038 0.075 A城2004 12 13 101 1 0.031 0.047 0.076 A城2004 12 16 101 1 0.056 0.044 0.055 A城2004 12 18 101 1 0.084 0.049 0.064 A城2004 12 19 101 1 0.069 0.043 0.061 A城2004 12 20 101 1 0.054 0.026 0.032 A城2004 12 21 101 1 0.027 0.021 0.024 A城2004 12 22 101 1 0.025 0.020 0.019 A城2004 12 23 101 1 0.041 0.030 0.032 A城2004 12 24 101 1 0.068 0.047 0.052 A城2004 12 25 101 1 0.104 0.049 0.088 A城2004 12 26 101 1 0.087 0.040 0.066 A城2004 12 27 101 1 0.097 0.051 0.057 A城2004 12 28 101 1 0.185 0.054 0.060 A城2004 12 29 101 1 0.070 0.040 0.039 A城2004 12 30 101 1 0.236 0.048 0.059
附表二（t检验法所用数据）：
x y
1 0.442955
2 0.39876
3 0.37345
4 0.43779
5 0.44321
6 1.004571
7 0.45321
8 0.54312
数据中异常值的检测与处理方法 一、数据中的异常值 各种类型的异常值： 数据输入错误：数据收集，记录或输入过程中出现的人为错误可能导致数据异常。例如：一个客户的年收入是$ 100,000。数据输入运算符偶然会在图中增加一个零。现在收入是100万美元，是现在的10倍。显然，与其他人口相比，这将是异常值。 测量误差：这是最常见的异常值来源。这是在使用的测量仪器出现故障时引起的。例如：有10台称重机。其中9个是正确的，1个是错误的。 有问题的机器上的人测量的重量将比组中其他人的更高/更低。在错误的机器上测量的重量可能导致异常值。 实验错误：异常值的另一个原因是实验错误。举例来说：在七名跑步者的100米短跑中，一名跑步者错过了专注于“出发”的信号，导致他迟到。 因此，这导致跑步者的跑步时间比其他跑步者多。他的总运行时间可能是一个离群值。 故意的异常值：这在涉及敏感数据的自我报告的度量中通常被发现。例如：青少年通常会假报他们消耗的酒精量。只有一小部分会报告实际价值。 这里的实际值可能看起来像异常值，因为其余的青少年正在假报消费量。 数据处理错误：当我们进行数据挖掘时，我们从多个来源提取数据。某些操作或提取错误可能会导致数据集中的异常值。 抽样错误：例如，我们必须测量运动员的身高。错误地，我们在样本中包括一些篮球运动员。这个包含可能会导致数据集中的异常值。 自然异常值：当异常值不是人为的（由于错误），这是一个自然的异常值。例如：保险公司的前50名理财顾问的表现远远高于其他人。令人惊讶的是，这不是由于任何错误。因此，进行任何数据挖掘时，我们会分别处理这个细分的数据。
在以上的异常值类型中，对于房地产数据，可能出现的异常值类型主 要有：(1)数据输入错误，例如房产经纪人在发布房源信息时由于输入错误，而导致房价、面积等相关信息的异常；在数据的提取过程中也可能会出现异常值，比如在提取出售二手房单价时，遇到“1室7800元/m 2”，提取其中的数字结果为“17800”，这样就造成了该条案例的单价远远异常于同一小区的其他房源价格，如果没有去掉这个异常值，将会导致整个小区的房屋单价均值偏高，与实际不符。(2)故意的异常值，可能会存在一些人，为了吸引别人来电询问房源，故意把价格压低，比如房屋单价为1元等等；(3)自然异常值。房价中也会有一些实际就是比普通住宅价格高很多的真实价格，这个就需要根据实际请况进行判断，或在有需求时单独分析。 二、数据中异常值的检测 各种类型的异常值检测： 1、四分位数展布法 方法[1]：大于下四分位数加倍四分位距或小于上四分位数减倍。 把数据按照从小到大排序，其中25%为下四分位用FL 表示，75%处为上四分位用FU 表示。 计算展布为：L U F F F d -=，展布（间距）为上四分位数减去下四分位数。 最小估计值（下截断点）：F L d F 5.1- 最大估计值（上截断点）：F U d F 5.1+ 数据集中任意数用X 表示，F U F L d F X d F 5.15.1+<<-， 上面的参数不是绝对的，而是根据经验，但是效果很好。计算的是中度异常，参数等于3时，计算的是极度异常。我们把异常值定义为小于下截断点，或者大于上截断点的数据称为异常值。
科研常用的实验数据分析与处理方法 对于每个科研工作者而言，对实验数据进行处理是在开始论文写作之前十分常见的工作之一。但是，常见的数据分析方法有哪些呢？常用的数据分析方法有：聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析。 1、聚类分析(Cluster Analysis) 聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。聚类分析所使用方法的不同，常常会得到不同的结论。不同研究者对于同一组数据进行聚类分析，所得到的聚类数未必一致。 2、因子分析(Factor Analysis) 因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系，减少决策的困难。因子分析的方法约有10多种，如重心法、影像分析法，最大似然解、最小平方法、阿尔发抽因法、拉奥典型抽因法等等。这些方法本质上大都属近似方法，是以相关系数矩阵为基础的，所不同的是相关系数矩阵对角线上的值，采用不同的共同性□2估值。在社会学研究中，因子分析常采用以主成分分析为基础的反覆法。
3、相关分析(Correlation Analysis) 相关分析(correlation analysis)，相关分析是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度。相关关系是一种非确定性的关系，例如，以X和Y 分别记一个人的身高和体重，或分别记每公顷施肥量与每公顷小麦产量，则X与Y显然有关系，而又没有确切到可由其中的一个去精确地决定另一个的程度，这就是相关关系。 4、对应分析(Correspondence Analysis) 对应分析(Correspondence analysis)也称关联分析、R-Q 型因子分析，通过分析由定性变量构成的交互汇总表来揭示变量间的联系。可以揭示同一变量的各个类别之间的差异，以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。 5、回归分析 研究一个随机变量Y对另一个(X)或一组(X1，X2，…，Xk)变量的相依关系的统计分析方法。回归分析(regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。运用十分广泛，回归分析按照涉及的自变量的多少，可分为一
缺失数据插补方法比较研究 一、缺失数据的产生机制 在抽样调查中，经常会遇到调查问卷中某些项目没有回答的情况，这就是数据缺失的问题。数据缺失问题无论是在市场调查、政府调查还是学术调查中都呈现越来越严重的趋势。这是由多种原因造成的。首先，公民越来越重视个人的隐私权，不愿意透露一些个人信息；其次，不规范的市场调查影响了调查的严肃性，使得受访者对各类调查不屑一顾，不能认真对待；第三，问卷设计不规范，问卷内容过长或过难，尤其是市场调查中的各类“搭车调查”使得问卷过长，造成受访者的厌倦心理；第四，调查主办单位不重视访问员的培训，访问员缺乏一些必备的追问、补问、查漏等基本技巧。 缺失数据根据其产生机制可以分为完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR）。完全随机缺失是指这样一种情况：缺失情况相对于所有可观测和不可观测的数据来说，在统计学意义上是独立的。比如说，受访者在街头接受访问时，突然沙粒吹进了眼睛导致问卷后面的问题无法回答，从而造成了数据缺失。随机缺失是一个观测出现缺失值的概率是由数据集中不含缺失值的变量决定的，而不是由含缺失值的变量决定的。非随机缺失是与缺失数据本身存在某种关联，比如问题设计过于敏感造成的缺失。 识别缺失数据的产生机制是极其重要的。首先这涉及到代表性问题。从统计上说，非随机缺失的数据会产生有偏估计，因此不能很好地代表总体。其次，它决定数据插补方法的选择。随机缺失数据处理相对比较简单，但非随机缺失数据处理比较困难，原因在于偏差的程度难以把握。 缺失数据的插补是指选择合理的数据代替缺失数据。不同的插补法对总体推断会产生较大的影响，尤其是在缺失数量较大的情况下。目前国内学者对缺失数据的插补问题尚未有充分的认识。笔者发现，研究者在抽样调查报告中很少会说明缺失值的处理方法，但事实上，绝大部分社会科学调查（包括市场调查）都会包含不完整的数据，理应对此有所说明。二、几种常见的缺失数据插补方法 （一）个案剔除法(Listwise Deletion) 最常见、最简单的处理缺失数据的方法是用个案剔除法(listwise deletion)，也是很多统计软件（如SPSS和SAS）默认的缺失值处理方法。在这种方法中如果任何一个变量含有缺失数据的话，就把相对应的个案从分析中剔除。如果缺失值所占比例比较小的话，这一
. 一、 一、实验/实习过程 实验题1在程序中产生一个ArithmeticException类型被0除的异常，并用catch 语句捕获这个异常。最后通过ArithmeticException类的对象e 的方法getMessage给出异常的具体类型并显示出来。 package Package1; public class除数0 { public static void main(String args[]){ try{ int a=10; int b=0; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } } 实验题2在一个类的静态方法methodOne（）方法内使用throw 产生
ArithmeticException异常，使用throws子句抛出methodOne（）的异常，在main方法中捕获处理ArithmeticException异常。 package Package1; public class抛出异常 { static void methodOne() throws ArithmeticException{ System.out.println("在methodOne中"); throw new ArithmeticException("除数为0"); } public static void main(String args[]){ try{ int a=10; int b=0; int c=1; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } }
实验数据处理的基本方法 数据处理是物理实验报告的重要组成部分，其包含的容十分丰富，例如数据的记录、函数图线的描绘，从实验数据中提取测量结果的不确定度信息，验证和寻找物理规律等。本节介绍物理实验中一些常用的数据处理方法。 １列表法 将实验数据按一定规律用列表方式表达出来是记录和处理实验数据最常用的方法。表格的设计要求对应关系清楚、简单明了、有利于发现相关量之间的物理关系；此外还要求在标题栏中注明物理量名称、符号、数量级和单位等；根据需要还可以列出除原始数据以外的计算栏目和统计栏目等。最后还要求写明表格名称、主要测量仪器的型号、量程和准确度等级、有关环境条件参数如温度、湿度等。 本课程中的许多实验已列出数据表格可供参考，有一些实验的数据表格需要自己设计，表１．７—１是一个数据表格的实例，供参考。 表１．７—１数据表格实例 氏模量实验增减砝码时，相应的镜尺读数
２作图法 作图法可以最醒目地表达物理量间的变化关系。从图线上还可以简便求出实验需要的某些结果（如直线的斜率和截距值等），读出没有进行观测的对应点（插法），或在一定条件下从图线的延伸部分读到测量围以外的对应点（外推法）。此外，还可以把某些复杂的函数关系，通过一定的变换用直线图表示出来。例如半导体热敏电阻的电阻与温度关系为，取对数后得到 ，若用半对数坐标纸，以lgＲ为纵轴，以１／Ｔ为横轴画图，则为一条直线。 要特别注意的是，实验作图不是示意图，而是用图来表达实验中得到的物理量间的关系，同 时还要反映出测量的准确程度，所以必须满足一定的作图要求。 １）作图要求 （１）作图必须用坐标纸。按需要可以选用毫米方格纸、半对数坐标纸、对数坐标纸或极坐标纸等。
在《SPSS统计分析方法及应用》一书中，对时间序列数据缺失处理给出了几种解决方法，可以供我们设计的时候参考： 新生成一个由用户命名的序列，选择处理缺失值的替代方法，单击Change按钮。替代方法有以下几种： ①Series mean：表示用整个序列的均值作为替代值。 ②Mean of nearby points：表示利用邻近点的均值作为替代值。对此用Span of nearby points框指定数据段。在Number后输入数值k，以表示缺失值为中心，前后分别选取k个数据点。这样填补的值就是由这2k个数的平均数。也可以选择All，作用同Series mean选项。 “附（邻）近点的跨度”：系统默认的是2，即缺失值上下两个观察值作为范围。
若选择“全部”，即将所有的观察值作为临近点。 ③Median of nearby points：表示利用邻近点的中位数作为替代值。数据指定方法同上。 ④Linear interpolation：为线性插值法，表示利用缺失值前后两时点数据的某种线性组合进行填补，是一种加权平均。 线性插值法应用线性插值法填补缺失值。用该列数据缺失值前一个数据和后一个数据建立插值直线，然后用缺失点在线性插值函数的函数值填充该缺失值。如果前后值有一个缺失，则得不到缺失值的替换值。 ⑤Linear trend at point：为线性趋势值法，表示利用回归拟合线的拟合值作为替代值。 缺失点处的线性趋势法应用缺失值所在的整个序列建立线性回归方程，然后用该回归方程在缺失点的预测值填充缺失值。 *注意：如果序列的第一个和最后一个数据为缺失值，只能利用序列均值和线性趋势值法处理，其他方法不适用。
回归中缺失值处理方法文稿归稿存档编号：[KKUY-KKIO69-OTM243-OLUI129-G00I-FDQS58-
在《SPSS统计分析方法及应用》一书中，对时间序列数据缺失处理给出了几种解决方法，可以供我们设计的时候参考： 新生成一个由用户命名的序列，选择处理缺失值的替代方法，单击Change按钮。替代方法有以下几种： ①Series mean：表示用整个序列的均值作为替代值。 ②Mean of nearby points：表示利用邻近点的均值作为替代值。对此用Span of nearby points框指定数据段。在Number后输入数值k，以表示缺失值为中心，前后分别选取k个数据点。这样填补的值就是由这2k 个数的平均数。也可以选择All，作用同Series mean选项。 “附（邻）近点的跨度”：系统默认的是2，即缺失值上下两个观察值作为范围。若选择“全部”，即将所有的观察值作为临近点。 ③Median of nearby points：表示利用邻近点的中位数作为替代值。数据指定方法同上。 ④Linear interpolation：为线性插值法，表示利用缺失值前后两时点数据的某种线性组合进行填补，是一种加权平均。 线性插值法应用线性插值法填补缺失值。用该列数据缺失值前一个数据和后一个数据建立插值直线，然后用缺失点在线性插值函数的函数值填充该缺失值。如果前后值有一个缺失，则得不到缺失值的替换值。 ⑤Linear trend at point：为线性趋势值法，表示利用回归拟合线的拟合值作为替代值。 缺失点处的线性趋势法应用缺失值所在的整个序列建立线性回归方程，然后用该回归方程在缺失点的预测值填充缺失值。
大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯这样的一些涉及到海量数据的公司经常会问到。 下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是counting Bloom filter，用一个counter数组代替位数组，就可以支持删除了。 还有一个比较重要的问题，如何根据输入元素个数n，确定位数组m的大小及hash函数个数。当hash 函数个数k=(ln2)*(m/n)时错误率最小。在错误率不大于E的情况下，m至少要等于n*lg(1/E)才能表示任意n个元素的集合。但m还应该更大些，因为还要保证bit数组里至少一半为0，则m应 该>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2为底的对数)。 举个例子我们假设错误率为0.01，则此时m应大概是n的13倍。这样k大概是8个。 注意这里m与n的单位不同，m是bit为单位，而n则是以元素个数为单位(准确的说是不同元素的个数)。通常单个元素的长度都是有很多bit的。所以使用bloom filter内存上通常都是节省的。 扩展： Bloom filter将集合中的元素映射到位数组中，用k（k为哈希函数个数）个映射位是否全1表示元素在不在这个集合中。Counting bloom filter（CBF）将位数组中的每一位扩展为一个counter，从而支持了元素的删除操作。Spectral Bloom Filter（SBF）将其与集合元素的出现次数关联。SBF采用counter 中的最小值来近似表示元素的出现频率。 问题实例：给你A,B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL。如果是三个乃至n个文件呢？ 根据这个问题我们来计算下内存的占用，4G=2^32大概是40亿*8大概是340亿，n=50亿，如果按出错率0.01算需要的大概是650亿个bit。现在可用的是340亿，相差并不多，这样可能会使出错率上升些。另外如果这些urlip是一一对应的，就可以转换成ip，则大大简单了。 2.Hashing
数据丢失的原因分析及防范措施和数据恢 复
误操作导致电脑数据丢失巧用恢复工具抢救数据 [数据灾难的原因] 造成数据丢失的原因大致分为二种：软件故障和硬件故障。 软件故障：①病毒感染②误格式化、误分区③误克隆④误操作⑤网络删除⑥0磁道损坏⑦硬盘逻辑锁⑧操作时断电一般表现为无操作系统，读盘错误，文件找不到、打不开、乱码，报告无分区、无格式化等 硬件故障：①磁盘划伤；②磁组变形；③芯片及其它原器件烧坏 一般表现为硬盘不认，常有一种“咔嚓咔嚓”的磁组撞击声或电机不转、通电后无任何声音、选头不对造成读写错误等现象。 误删文件是一件很令人遗憾的事情，若文件抢救不回来，对某些上班族来说，简直就是“灾难”。这时，您一定希望能找到一个可以恢复文档或者数据的“称手兵刃”，当然，最好的办法是学会如何从源头避免这类问题的发生。 数字说话:75%误操作导致数据丢失
没有经过慎重考虑或者是在手忙脚乱中误操作删除了有用文档，诸如此类的人为错误或者软硬件问题，以及系统问题，有时会造成重要资料的丢失。国家信息中心信息安全研究与服务中心上半年公布的《2006年度数据修复报告》就显示，从我国2006年全年的数据修复情况来看，硬件故障占了相当大比例，其中80%是硬盘本身故障，这与存储介质已经发展到了一个瓶颈阶段有关。硬盘容量大、体积小、转速高等因素都对硬盘质量有影响。而在软件故障里，75%是由于用户误操作所造成的，虽然软件故障数据恢复的成功率高达98%，但如果用户在使用中注意操作规程，数据丢失灾难其实是可以避免的。 一个规律性的东西是，这些安全隐患大多存在于PC机和笔记本，服务器对数据的安全备份要求严格，有专业人员进行维护，出现数据灾难的频率相对低。由于PC机和笔记本已经是基本的办公工具，但使用者对数据安全和备份的意识尚没有充分建立起来，造成数据丢失的比例相对较高。 97%多数据故障可成功恢复数据 强行关机、源盘操作，都会导致数据损失的进一步加重。报告显示，7%的人在问题发生后反复开关机，导致这些人里有28%的数据不可恢复。同时，42%的人在问题发生后没有进行任何操作，其数据恢复成功率达到97%。
一、实验/实习过程 实验题1在程序中产生一个ArithmeticException类型被0除的异常，并用catch 语句捕获这个异常。最后通过ArithmeticException类的对象e 的方法getMessage给出异常的具体类型并显示出来。 package Package1; public class除数0 { public static void main(String args[]){ try{ int a=10; int b=0; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } } 实验题2在一个类的静态方法methodOne（）方法内使用throw 产生ArithmeticException异常，使用throws子句抛出methodOne（）的异常，
在main方法中捕获处理ArithmeticException异常。 package Package1; public class抛出异常 { static void methodOne() throws ArithmeticException{ System.out.println("在methodOne中"); throw new ArithmeticException("除数为0"); } public static void main(String args[]){ try{ int a=10; int b=0; int c=1; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } }
第六节数据处理的基本方法 前面我们已经讨论了测量与误差的基本概念，测量结果的最佳值、误差和不确定度的计算。然而，我们进行实验的最终目的是为了通过数据的获得和处理，从中揭示出有关物理量的关系，或找出事物的内在规律性，或验证某种理论的正确性，或为以后的实验准备依据。因而，需要对所获得的数据进行正确的处理，数据处理贯穿于从获得原始数据到得出结论的整个实验过程。包括数据记录、整理、计算、作图、分析等方面涉及数据运算的处理方法。常用的数据处理方法有：列表法、图示法、图解法、逐差法和最小二乘线性拟合法等，下面分别予以简单讨论。 列表法是将实验所获得的数据用表格的形式进行排列的数据处理方法。列表法的作用有两种：一是记录实验数据，二是能显示出物理量间的对应关系。其优点是，能对大量的杂乱无章的数据进行归纳整理，使之既有条不紊，又简明醒目；既有助于表现物理量之间的关系，又便于及时地检查和发现实验数据是否合理，减少或避免测量错误；同时，也为作图法等处理数据奠定了基础。 用列表的方法记录和处理数据是一种良好的科学工作习惯，要设 计出一个栏目清楚、行列分明的表格，也需要在实验中不断训练，逐步掌握、熟练，并形成习惯。 一般来讲，在用列表法处理数据时，应遵从如下原则：
(1) 栏目条理清楚，简单明了，便于显示有关物理量的关系。 (2) 在栏目中，应给出有关物理量的符号，并标明单位(一般不重复写在每个数据的后面)。 (3) 填入表中的数字应是有效数字。 (4) 必要时需要加以注释说明。 例如，用螺旋测微计测量钢球直径的实验数据列表处理如下。 用螺旋测微计测量钢球直径的数据记录表 从表中，可计算出 D i D = n = 5.9967 ( mm)
几种常见的缺失数据插补方法 （一）个案剔除法(Listwise Deletion) 最常见、最简单的处理缺失数据的方法是用个案剔除法(listwise deletion)，也是很多统计软件（如SPSS和SAS）默认的缺失值处理方法。在这种方法中如果任何一个变量含有缺失数据的话，就把相对应的个案从分析中剔除。如果缺失值所占比例比较小的话，这一方法十分有效。至于具体多大的缺失比例算是“小”比例，专家们意见也存在较大的差距。有学者认为应在5%以下，也有学者认为20%以下即可。然而，这种方法却有很大的局限性。它是以减少样本量来换取信息的完备，会造成资源的大量浪费，丢弃了大量隐藏在这些对象中的信息。在样本量较小的情况下，删除少量对象就足以严重影响到数据的客观性和结果的正确性。因此，当缺失数据所占比例较大，特别是当缺数据非随机分布时，这种方法可能导致数据发生偏离，从而得出错误的结论。 （二）均值替换法(Mean Imputation) 在变量十分重要而所缺失的数据量又较为庞大的时候，个案剔除法就遇到了困难，因为许多有用的数据也同时被剔除。围绕着这一问题，研究者尝试了各种各样的办法。其中的一个方法是均值替换法(mean imputation)。我们将变量的属性分为数值型和非数值型来分别进行处理。如果缺失值是数值型的，就根据该变量在其他所有对象的取值的平均值来填充该缺失的变量值；如果缺失值是非数值型的，就根据统计学中的众数原理，用该变量在其他所有对象的取值次数最多的值来补齐该缺失的变量值。但这种方法会产生有偏估计，所以并不被推崇。均值替换法也是一种简便、快速的缺失数据处理方法。使用均值替换法插补缺失数据，对该变量的均值估计不会产生影响。但这种方法是建立在完全随机缺失（MCAR）的假设之上的，而且会造成变量的方差和标准差变小。 （三）热卡填充法（Hotdecking）
大数据处理流程的主要环节 大数据处理流程主要包括数据收集、数据预处理、数据存储、数据处理与分析、数据展示/数据可视化、数据应用等环节，其中数据质量贯穿于整个大数据流程，每一个数据处理环节都会对大数据质量产生影响作用。通常，一个好的大数据产品要有大量的数据规模、快速的数据处理、精确的数据分析与预测、优秀的可视化图表以及简练易懂的结果解释，本节将基于以上环节分别分析不同阶段对大数据质量的影响及其关键影响因素。 一、数据收集 在数据收集过程中，数据源会影响大数据质量的真实性、完整性数据收集、一致性、准确性和安全性。对于Web数据，多采用网络爬虫方式进行收集，这需要对爬虫软件进行时间设置以保障收集到的数据时效性质量。比如可以利用八爪鱼爬虫软件的增值API设置，灵活控制采集任务的启动和停止。 二、数据预处理 大数据采集过程中通常有一个或多个数据源，这些数据源包括同构或异构的数据库、文件系统、服务接口等，易受到噪声数据、数据值缺失、数据冲突等影响，因此需首先对收集到的大数据集合进行预处理，以保证大数据分析与预测结果的准确性与价值性。
大数据的预处理环节主要包括数据清理、数据集成、数据归约与数据转换等内容，可以大大提高大数据的总体质量，是大数据过程质量的体现。数据清理技术包括对数据的不一致检测、噪声数据的识别、数据过滤与修正等方面，有利于提高大数据的一致性、准确性、真实性和可用性等方面的质量; 数据集成则是将多个数据源的数据进行集成，从而形成集中、统一的数据库、数据立方体等，这一过程有利于提高大数据的完整性、一致性、安全性和可用性等方面质量; 数据归约是在不损害分析结果准确性的前提下降低数据集规模，使之简化，包括维归约、数据归约、数据抽样等技术，这一过程有利于提高大数据的价值密度，即提高大数据存储的价值性。 数据转换处理包括基于规则或元数据的转换、基于模型与学习的转换等技术，可通过转换实现数据统一，这一过程有利于提高大数据的一致性和可用性。 总之，数据预处理环节有利于提高大数据的一致性、准确性、真实性、可用性、完整性、安全性和价值性等方面质量，而大数据预处理中的相关技术是影响大数据过程质量的关键因素 三、数据处理与分析 1、数据处理 大数据的分布式处理技术与存储形式、业务数据类型等相关，针对大数据处理的主要计算模型有MapReduce分布式计算框架、分布式内存计算系统、分布式流计算系统等。
造成数据缺失的原因 在各种实用的数据库中，属性值缺失的情况经常发全甚至是不可避免的。因此，在大多数情况下，信息系统是不完备的，或 者说存在某种程度的不完备。造成数据缺失的原因是多方面的，主要可能有以下几种： 1）有些信息暂时无法获取。例如在医疗数据库中，并非所有病人的所有临床检验结果都能在给定的时间内得到，就致使一部 分属性值空缺出来。又如在申请表数据中，对某些问题的反映依赖于对其他问题的回答。 2）有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写了或对数据理解错误而遗漏，也可能是由于数据采集设备 的故障、存储介质的故障、传输媒体的故障、一些人为因素等原因而丢失了。 3）有些对象的某个或某些属性是不可用的。也就是说，对于这个对象来说，该属性值是不存在的，如一个未婚者的配偶姓名 、一个儿童的固定收入状况等。 4）有些信息（被认为）是不重要的。如一个属性的取值与给定语境是无关的，或训练数据库的设计者并不在乎某个属性的取 值（称为dont-care value）。 5）获取这些信息的代价太大。 6）系统实时性能要求较高，即要求得到这些信息前迅速做出判断或决策。 处理数据缺失的机制 在对缺失数据进行处理前，了解数据缺失的机制和形式是十分必要的。将数据集中不含缺失值的变量（属性）称为完全变量
，数据集中含有缺失值的变量称为不完全变量，Little 和Rubin定义了以下三种不同的数据缺失机制： 1）完全随机缺失（Missing Completely at Random，MCAR）。数据的缺失与不完全变量以及完全变量都是无关的。 2）随机缺失（Missing at Random，MAR）。数据的缺失仅仅依赖于完全变量。 3）非随机、不可忽略缺失（Not Missing at Random,NMAR，or nonignorable）。不完全变量中数据的缺失依赖于不完全变量 本身，这种缺失是不可忽略的。 空值语义 对于某个对象的属性值未知的情况，我们称它在该属性的取值为空值(null value)。空值的来源有许多种，因此现实世界中 的空值语义也比较复杂。总的说来，可以把空值分成以下三类： 1)不存在型空值。即无法填入的值，或称对象在该属性上无法取值，如一个未婚者的配偶姓名等。 2)存在型空值。即对象在该属性上取值是存在的，但暂时无法知道。一旦对象在该属性上的实际值被确知以后，人们就可以用 相应的实际值来取代原来的空值，使信息趋于完全。存在型空值是不确定性的一种表征，该类空值的实际值在当前是未知的。但它 有确定性的一面，诸如它的实际值确实存在，总是落在一个人们可以确定的区间内。一般情况下，空值是指存在型空值。 3)占位型空值。即无法确定是不存在型空值还是存在型空值，这要随着时间的推移才能够清楚，是最不确定的一类。这种空值
spss数据录入时缺失值怎么处理 录入的时候可以直接省略不录入 分析的时候也一般剔除这样的样本。但也有替换的方法，一般有： 均值替换法(mean imputation)，即用其他个案中该变量观测值的平均数对缺失的数据进行替换，但这种方法会产生有偏估计，所以并不被推崇。 个别替换法(single imputation)通常也被叫做回归替换法(regression imputation)，在该个案的其他变量值都是通过回归估计得到的情况下，这种 方法用缺失数据的条件期望值对它进行替换。这虽然是一个无偏估计，但是却倾向于低估标准差和其他未知性质的测量值，而且这一问题会随着缺失信息的增多而变得更加严重。 多重替代法(multiple imputation)(Rubin, 1977) 。 ?它从相似情况中或根据后来在可观测的数据上得到的缺省数据的分布情况给每个缺省数据赋予一个模拟值。结合这种方法，研究者可以比较容易地，在不舍弃任何数据的情况下对缺失数据的未知性质进行推断(Little and Rubin,1987; ubin,1987, 1996)。 （一）个案剔除法(Listwise Deletion) 最常见、最简单的处理缺失数据的方法是用个案剔除法(listwise deletion)，也是很多统计软件（如SPSS和SAS）默认的缺失值处理方法。在这种方法中如果任何一个变量含有缺失数据的话，就把相对应的个案从分析中剔除。如果缺失值所占比例比较小的话，这一方法十分有效。至于具体多大的缺失比例算是“小”比例，专家们意见也存在较大的差距。有学者认为应在5%以下，也有学者认为20%以下即可。然而，这种方法却有很大的局限性。它是以减少样本量来换取信息的完备，会造成资源的大量浪费，丢弃了大量隐藏在这些对象中的信息。在样本量较小的情况下，删除少量对象就足以严重影响到数据的客观性和结果的正确性。因此，当缺失数据所占比例较大，特别是当缺数据非随机分布时，这种方法可能导致数据发生偏离，从而得出错误的结论。 （二）均值替换法(Mean Imputation) 在变量十分重要而所缺失的数据量又较为庞大的时候，个案剔除法就遇到了困难，因为许多有用的数据也同时被剔除。围绕着这一问题，研究者尝试了各种各样的办法。其中的一个方法是均值替换法(mean imputation)。我们将变量的属性分为数值型和非数值型来分别进行处理。如果缺失值是数值型的，就根据该变量在其他所有对象的取值的平均值来填充该缺失的变量值；如果缺失值是非数值型的，就根据统计学中的众数原理，用该变量在其他所有对象的取值次数最多的值来补齐该缺失的变量值。但这种方法会产生有偏估计，所以并不被推崇。均值替换法也是一种简便、快速的缺失数据处理方法。使用均值替换法插补缺失数据，对该变量的均值估计不会产生影响。但这种方法是建立在完全随机缺失（MCAR）的假设之上的，而且会造成变量的方差和标准差变小。 （三）热卡填充法（Hotdecking）
实验数据处理基本方法 实验必须采集大量数据，数据处理是指从获得数据开始到得出最后结 论的整个加工过程，它包括数据记录、整理、计算与分析等，从而寻找出 测量对象的内在规律，正确地给出实验结果。因此，数据处理是实验工作 不可缺少的一部分。数据处理涉及的内容很多，这里只介绍常用的四种方 法。 1列表法 对一个物理量进行多次测量，或者测量几个量之间的函数关系，往往 借助于列表法把实验数据列成表格。其优点是，使大量数据表达清晰醒目， 条理化，易于检查数据和发现问题，避免差错，同时有助于反映出物理量 之间的对应关系。所以，设计一个简明醒目、合理美观的数据表格，是每 一个同学都要掌握的基本技能。 列表没有统一的格式，但所设计的表格要能充分反映上述优点，应注意以下几点：1．各栏目均应注明所记录的物理量的名称(符号 )和单位； 2．栏目的顺序应充分注意数据间的联系和计算顺序，力求简明、齐全、有条理； 3．表中的原始测量数据应正确反映有效数字，数据不应随便涂改，确实要修改数据时， 应将原来数据画条杠以备随时查验； 4．对于函数关系的数据表格，应按自变量由小到大或由大到小的顺序排列，以便于判 断和处理。 2图解法 图线能够明显地表示出实验数据间的关系，并且通过它可以找出两个 量之间的数学关系，因此图解法是实验数据处理的重要方法之一。图解法 处理数据，首先要画出合乎规范的图线，其要点如下： 1.选择图纸作图纸有直角坐标纸 ( 即毫米方格纸 ) 、对数坐标纸和 极坐标纸等，根据 作图需要选择。在物理实验中比较常用的是毫米方格纸，其规格多为17 25 cm 。 2.曲线改直由于直线最易描绘 , 且直线方程的两个参数 ( 斜率和截距 ) 也较易算得。所以对于两个变量之间的函数关系是非线性的情形，在用图解法时 应尽可能通过变量代换 将非线性的函数曲线转变为线性函数的直线。下面为几种常用的变换方法。 ( 1) xy c ( c 为常数 ) 。 令 z 1，则 y cz，即 y 与 z 为线性关系。 x ( 2) x c y ( c 为常x2，y 1 z ，即 y 与为线性关系。
发布日期20070524 栏目化药药物评价>>临床安全性和有效性评价标题有关缺失数据的考虑要点 作者高晨燕 部门 正文内容 译稿审校高晨燕 欧洲药品评审局人用药品评价 伦敦，2001年11月15日CPMP/EWP/1776/99 专利药品委员会（CPMP） 有关缺失数据的考虑要点 注： 编写考虑要点是为了对特定治疗领域药品开发相关的部分领域提出建议。 本文件将根据这一领域内取得的进展进行修订。
有关缺失数据的考虑要点 1.前言 分析临床试验时缺失数据可能会产生偏倚。如果缺失值的数量很多，则试验结果的解释总是会出现问题。ICH E9（临床试验的统计学原理）只涉及这一问题的一部分，目前主管部门尚未制定有关这一问题的指南。 缺失数据有许多可能的来源，影响整个受试者或特定项目。缺失数据可能有许多原因（例如患者拒绝继续参加研究、治疗失败或成功、不良事件、患者搬家），其中并不都与研究治疗相关。可以出现不同程度的数据不完整，即可能只有基线测定值，或可能漏了一个或几次随访评价。即使完成了研究方案，仍可能有些数据未收集到。 缺失数据违反严格的ITT原则，即：测定所有患者的结果而不论其是否遵守方案；按照分配的治疗进行分析而不论患者实际接受的治疗如何。全分析集一般需要填补未记录的数据的值。实际上，即使是符合方案集可能也需要使用某些填补的值。这一程序可能对临床试验的最终结果有重要的影响，具体取决于缺失数据的多少和种类。 缺失值导致对是否有治疗作用以及治疗作用的大小得出有偏倚的结论，其程度受许多因素影响。其中包括缺失、治疗分配和结果之间的关系；用于对治疗作用进行量化的测定指标的类型（例如绝对与相对测量指标）。 影响数据解释发生偏倚的种类取决于研究的目的是为了显示差异还是为了证明等效性/非劣效性。 需要指出的是用于填补缺失值的策略本身也是偏倚的来源。 2.缺失值对数据分析和数据解释的影响
这些缺失值不仅意味着信息空白，更重要的是它会影响后续数据挖掘和统计 分析等工作的进行。一般对缺失值处理的方法包括删除不完整记录、当作特殊值处理或者插补空值。显然，插补的方法不管从量上还是质上，对数据的处理结果都要好于前两种。目前国内外已提出了很多有关缺失值填充的方法。尽管这些方法在各自的应用环境下都得到了很好的效果，但仍然存在一些不足。比如，一些模型像决策树需要指定类属性与条件属性，这样的模型每处理一个属性就要训练一次模型，效率很低。其次，很多算法对高维数据的处理能力有限，引入无用的变量不仅影响执行效率，而且会干扰最终填充效果。第三、在没有真值作为对比的情况下，无法评价不同属性的填充效果。最后，很多算法只适用于小数据集，远远无法满足目前对大量数据的处理要求。为解决上述问题，本文给出了一个基于贝叶斯网和概率推理的填充方法。与常用的贝叶斯网构建算法不同，本文针对缺失值填充这一特定的应用前提，从挖掘属性相关性入手构建网络。建立贝叶斯网时不设定任何目标属性，由影响最大的属性作为根。这一过程不需要用户对数据有太多了解，完全由算法自动完成。根据贝叶斯网自身的条件独立性假设可以分解对多维联合概率的求解，降低在处理高维数据时的复杂度。填充值根据概率推理结果得到。推理产生的概率信息能够反映填充值的不确定程度，即概率越小，准确率越低，反之，准确率越高。这就为评价填充质量提供了一个参考。为使算法适用于混合属性集，本文在贝叶斯网中加入了对连续属性的处理，所有属性的填充均在一个模型下完成。针对大数据集，应用并行技术来解决效率问题。本文给出了算法在Map-Reduce 中的实现。实验部分分别验证了贝叶斯网构建算法和概率推理算法的有效性并对比分析了整个填充算法的准确率；并行处理部分给出了并行效率并分析了影响并行性能的因素。
目录 摘要......................................................................... I 关键词...................................................................... I 1引言 (1) 2异常值的判别方法 (1) 检验（3S）准则 (1) 狄克松（Dixon）准则 (2) 格拉布斯（Grubbs）准则 (2) 指数分布时异常值检验 (3) 莱茵达准则（PanTa） (3) 肖维勒准则（Chauvenet） (4) 3 实验异常数据的处理 (4) 4 结束语 (5) 参考文献 (6)
试验数据异常值的检验及剔除方法 摘要：在实验中不可避免会存在一些异常数据，而异常数据的存在会掩盖研究对象的变化规律和对分析结果产生重要的影响，异常值的检验与正确处理是保证原始数据可靠性、平均值与标准差计算准确性的前提.本文简述判别测量值异常的几种统计学方法，并利用DPS软件检验及剔除实验数据中异常值，此方法简单、直观、快捷，适合实验者用于实验的数据处理和分析. 关键词：异常值检验；异常值剔除；DPS；测量数据
1 引言 在实验中，由于测量产生误差，从而导致个别数据出现异常，往往导致结果产生较大的误差，即出现数据的异常.而异常数据的出现会掩盖实验数据的变化规律，以致使研究对象变化规律异常，得出错误结论.因此，正确分析并剔除异常值有助于提高实验精度. 判别实验数据中异常值的步骤是先要检验和分析原始数据的记录、操作方法、实验条件等过程，找出异常值出现的原因并予以剔除. 利用计算机剔除异常值的方法许多专家做了详细的文献[1] 报告.如王鑫，吴先球，用Origin 剔除线形拟合中实验数据的异常值；严昌顺．用计算机快速剔除含粗大误差的“环值”；运用了统计学中各种判别异常值的准则，各种准则的优劣程度将体现在下文. 2 异常值的判别方法 判别异常值的准则很多，常用的有t 检验（3S ）准则、狄克松（Dixon ）准则、格拉布斯（Grubbs ）准则等准则.下面将一一简要介绍. 2.1 检验（3S ）准则 t 检验准则又称罗曼诺夫斯基准则，它是按t 分布的实际误差分布范围来判别异常值，对重复测量次数较少的情况比较合理. 基本思想：首先剔除一个可疑值，然后安t 分布来检验被剔除的值是否为异常值. 设样本数据为123,,n x x x x ，若认j x 为可疑值.计算余下1n -个数据平均值 1n x -及标准差1n s - ，即2 111,1,1n n i n i i j x x s n --=≠=-∑. 然后，按t 分布来判别被剔除的值j x 是否为异常值. 若1(,)n j x x kn a -->，则j x 为异常值，应予剔除，否则为正常值，应予以保留.其中：a 为显著水平；n 数据个数；(,)k n a 为检验系数，可通过查表得到.