第21卷第10期 系
统 仿 真 学 报? V ol. 21 No. 10
2009年5月 Journal of System Simulation May, 2009
? 2933 ?
高维数据分类方法研究
田 江, 顾 宏
（大连理工大学电子与信息工程学院，大连 116023）
摘 要：在对高维度数据进行模式分类时，能否有效进行降维是一个关键问题。提出了一种结合高斯过程潜变量模型(GPLVM)和支持向量机(SVM)的阶梯跳跃降维分类框架方法，能有效的降低样本数据维数，同时提高分类器性能。利用GPLVM 实现数据的平滑映射，对输入样本进行非线性降维后，根据SVM 的分类校验结果进行下一步降维迭代操作；计算新的阶梯维数，根据反馈动态调整降维输入数据。利用该方法对UCI 上的数据集进行分类，仿真结果验证了方法的有效性。 关键词：高斯过程潜变量模型；支持向量机；模式分类；阶梯跳跃降维
中图分类号：TP18 文献标识码：A 文章编号：1004-731X (2009) 10-2933-03
Study on Classification Methods for High-dimensional Data
TIAN Jiang, GU Hong
(School of Electronic and Information Engineering, Dalian University of Technology, Dalian 116023, China)
Abstract: Effective dimensionality reduction is a key issue in high-dimensional data classification. A new ladder jumping dimensional reduction classification framework was proposed which combined the Gaussian process latent variable model (GPLVM) and the Support Vector Machine (SVM). The data dimensions were reduced remarkably, while at the same time improving the performance of SVM classifiers. For the purpose of nonlinear low dimensional embedding of sample datasets, GPLVM provides a smooth probabilistic mapping from latent to data space. According to the feedback results of SVM, the renewed ladder dimension was calculated and the input data was adjusted dynamically. The proposed approach was applied to four benchmark problems, and the simulation results show its validity.
Key words: GPLVM; SVM; pattern classification; ladder jumping dimension reduction
引 言模式分类是模式识别中的一项重要内容 ,也是处理许多其它问题的核心。用于模式分类的方法很多 ,传统的模式分类方法主要基于统计分析理论, 如 Bayesian 方法、Fisher 判别、K 近邻分类等。近年来复杂非线性高维数据分析、处理的需要则促进了神经网络、模糊推理及支持向量机等方法的研究与应用[1]
。其中支持向量机的理论基础是V apnik
[2, 3]
等提出的统计学习理论，采用结构风险最小化准则 ,在最小化样本点误差的同时,缩小模型泛化误差的上界,即最小化模型的结构风险,从而提高了模型的泛化能力。支持向量机方法的分类性能受特征空间的选择影响较大，在很多应用领域中数据包含大量的特征，过高的特征维数使得训练及分类的速度变慢，同时也会使分类的正确率下降。
主成分分析(PCA)是目前广泛应用的一种降维方法，将多个变量化为少数几个互不相关的主成分,从而描述数据集的内部结构。高斯过程潜变量模型(GPLVM)[4-6]由Lawrence 于2004年提出，是一种新的无监督非线性数据降维方法，实现概率非线性的主成分分析。本文在GPLVM 的基础上，结合支持向量机提出了一种阶梯跳跃式降维的方法，对样本进行动态调整，支持向量机做为分类器迭代计算模型的性能评价标准和最后的分类结果。在UCI 标杆数据集上进行了
收稿日期：2008-01-02 修回日期：2008-07-23 作者简介：田江(1979-), 男, 河北唐山人, 博士生, 研究方向为数据挖掘等；顾宏(1961-), 辽宁大连人, 教授, 博导, 研究方向为数据挖掘, 移动商务等。
相关的仿真实验，实验结果表明了该方法可以获得最优的特征子集，有效的提高了分类的正确率，证明了方法的有效性。
1 高斯过程潜变量模型
高斯过程潜变量模型(GPLVM)[4-6]是一个完全概率非线性的实现主成分分析的潜变量模型。对主成分分析进行概率解释，写成一组具有线性协方差方程的高斯过程的积形式。
设d 维观测数据集记为：
11[,:,...,,:][:,,...,:,]T n d n d Y y y y y ×==∈? 设q 维潜变量数据集记为
11[,:,...,,:][:,,...,:,]T n q n q X x x x x ×==∈?
概率PCA [7]是一个简单的潜变量模型，给出了观测数据y 和潜变量x 之间的关系，它利用低维的潜变量来表示高维
观测数据，具体描述的是线性关系：
,:,:,:i i i y Wx η=+ (1) 其中d q W ×∈?是映射矩阵，噪声向量,:i η服从于均值为0，方差为2I σ的正态分布。
将潜变量同观测数据联系起来，假定各数据相互独立，令条件概率为:
2,:,:1
(|,)(|,)n i i i p Y X W N y Wx I σ==Π (2)
定义潜变量的高斯先验分布表示为:
,:1
()(|0,)n i i p X N x I ==Π (3) ,:1(|)(|0,)n
i i p Y W N y C ==Π
(4)
2009年5月 系 统 仿 真 学 报 May, 2009
·2934·
式中2T C WW I σ=+为协方差，进而可推导出潜变量x 关于观测变量y 的后验概率分布
(|,)()
(|,)(|)
p Y X W p X p X Y W p Y W =
在该模型下的观测数据对数似然函数为：
11
log (|)log ||()22T n p Y W C tr C Y Y c ?=??+ (5)
其中c 为常数，则将式(5)最大化可得:
1
2
2
,()T
q q W U LV L I σ==Λ? (6)
其中q U 是协方差矩阵1T n Y Y ?的前q 个主特征向量，对应的特征值矩阵为q Λ，V 为任意q q ×正交旋转矩阵。这样用最大似然参数估计代替了通常的样本协方差矩阵特征值分解，W 和2σ可以用EM 迭代算法高效的求解。GPLVM 与概率主成分分析（PPCA [7]）均可以看作是PCA 的概率化版本，二者的推导思路具有对偶性。GPLVM 将均值矩阵和协方差矩阵转换为高斯过程中定义的均值函数和协方差函数。将式(3)转换成对映射参数W 的先验分布。定义映射参数W 的高 斯先验分布为,:1()(|0,)n
i i p W N w I ==Π，并且有
,:1
(|)(|0,)n
i i p Y X N y K ==Π，其中2
T
K XX I σ=+
进而可推导出映射参数w 关于观测变量y 的后验概率分布。在该模型下的观测数据对数似然函数为：
11log (|)log ||()22
T d p Y X K tr K YY c ?=?
?+ (7)
将式(7)最大化可得:
1
'2
2
,()T
q
q X U LV L I σ==Λ? (8) 其中'
q U 是协方差的前q 个主特征向量，对应的特征值为
q Λ，在推导过程中，可以用非线性核代替线性核K ，即引
入非线性协方差方程，如使用RBF 核函数：
,:,:,:,:,:,:2
()()
(,)exp()2T i j i j i j x x x x k x x σ??=?
2 分类模型
2.1 模型框架
使用GPLVM 作为数据样本的降维方法，然后使用支持向量机(SVM)交叉验证对高维样本数据进行分类。本文设计了两种分类方法，为方便描述，将其在一个模型框架下进行表示，具体如图1所示。
如图所示，方法一的基本流程是对原始数据进行预处理后，直接使用GPLVM 进行降维，然后通过SVM 交叉验证进行分类，最好输出分类结果。而方法二在对原始数据进行预处理后，设定动态调整数据样本作为GPLVM 降维算法的输入，通过SVM 交叉验证分类后，对分类结果和当前维数进行保存。这个时候判断阶梯跳跃降维操作是否完毕，如果还要跳跃做进一步降维，则计算新的阶梯维数执行迭代分类；如果已经结束，则输出合并后的结果。 数据样本
预处理
GPLVM 降
维
动态调整样本数据SVM 交叉检验
方法1输出结果
GPLVM 阶梯跳跃降维
SVM 交叉检验
阶梯跳跃是否完毕
方法2输出结果
更新
阶梯维度
Y
N
图1 模式分类框架
在设计的两种方法中，GPLVM 提供从潜变量到数据空间的平滑概率映射，与大多数非线性降维方法专注于保持数据空间原有局部距离不同，GPLVM 侧重于在潜变量空间内分离原数据空间中距离较远的点。通过加以后向约束，GPLVM 同样实现了对原空间局部距离的保持[5-6]。在反向约束GPLVM 中，似然函数的优化需要加上对局部距离进行保
持的约束，这个约束通过对数据空间到潜变量空间的映射学
习实现。因此，在训练过程中同时会有两个模型并行工作，
一个用于相异保持，从潜变量空间到数据空间进行概率GPLVM 映射；另外一个模型用于局部距离保持，从数据空间到潜变量空间进行映射。
2.2 分类步骤
方法一的思路比较清晰，主要分析的是GPLVM 降维后对高维数据分类结果的影响；方法二涉及到阶梯跳跃的降维，对样本进行动态更新的过程，下面给出方法二的具体实现步骤：
步骤1：对原始数据集进行预处理，转换为实验程序需要的数据格式,并进行归一化处理。
步骤2：设定阶梯维数，采用对折交叉的方式将原始数据样本的维数进行等分，如原始数据为24维，若采用6折阶梯维数的具体降维顺序为24->20->15->10->5->1。
步骤3：动态调整数据样本，第一次输入的时候，数据样本保持为原始状态。在后面的迭代过程中，首先执行降维和SVM 交叉验证分类，然后判断如果需要进一步降维，则对此刻的样本进行动态调整，将上一次降维后的样本数据输出作为下一次GPLVM 降维操作的输入，这是一个反馈迭代的过程。
2009年5月 田江，
等：高维数据分类方法研究 May, 2009 ·2935·
步骤4：GPLVM 按照新的阶梯维数进行迭代降维，降低数据样本的维数，其目的在于提高算法执行的速度和分类精度。
步骤5：使用SVM 交叉验证对数据样本进行分类，输出分类正确率。
步骤6：判断是否阶梯跳跃降维操作是否完成，若需要继续跳跃降维，则计算下一阶梯维数数值，并将当前降维后的样本数据反馈，对下一轮的迭代降维进行输入数据更新。
步骤7：降维操作完成，合并输出最终分类结果，包括分类正确率和数据维数。
3 仿真实验
3.1 实验描述
这一节我们将对本文提出的方法进行实验分析，选用几个UCI 中的典型高维数据集，其中German ，Innosphere 和Sonar 为两类问题数据集，Segment 为多类问题数据集。方法的性能评价指标选用正确率(Precision)，召回率(Recall)和F-measure,其中F-measure 是一个综合考虑正确率和召回率的测试性能评价指标。样本数据具体描述如表1所示。
表1 实验数据集描述
名称
样本数量
维数 类别 German 1000 24 2 Segment 2310 19
7
Ionosphere
351 34 2
Sonar 208 60 2
实验使用了FGPLVM 的MA TLAB 工具箱，在WEKA [8]平台上通过LIBSVM [9]
完成10折交叉验证分类。具体实验中，将数据转换为LIBSVM 对应的输入格式，并进行归一化处理，将每个属性缩放到[0 1]。为了验证本文方法的有效性，FGPLVM 使用了默认的参数设置：FITC 逼近，SCG 优化器；LIBSVM 也没有对参数进行优化配置，而是直接使用缺省的参数配置, 具体如下：C-SVC ；RBF 核函数；C=1; gamma=1/k(k 为维数数量)。
3.2 实验结果分析
实验结果如表2所示，其中样本维数用D 表示，在方法1和方法2中代表降维后的样本维数。分类正确率是常用的算法评价标准，相关实验结果如表2所示，其中分类正确率用P 表示。方法1直接使用GPLVM 进行降维，方法2中采用阶梯跳跃式进行样本的反馈迭代降维。从表中可以看出，通过GPLVM 对样本的平滑概率映射，两种方法在一定
表2 分类正确率 SVM 方法1 方法2
数据集 D P D P D P German
Segment Ionosphere Sonar
24 19 34 60 0.72 0.654 0. 934 0.659 14 14 17 30 0.756 0.956 0.954 0.534
14 14 17 30 0.7580.9610.9460.764
程度上均提高了实验的分类正确率，同时有效的降低了数据样本的维数。
方法2将样本的维数降低了50%左右，分类正确率较直接使用SVM 进行分类也大有提高，其中German 提高了3.8个百分点，Segment 提高了30.7个百分点，效果最为明显，Ionosphere 和Sonar 的分类正确率分别提高了1.2和10.6个百分点。将方法2获得的最优维数设置到方法1上，进行数据降维分类。利用获得的实验结果同直接使用SVM 分类器进行比较，German 、Segment 和Ionosphere 三个数据集的分类正确率有所提高，但在Sonar 数据集上直接利用GPLVM 将数据降到30维，获得的正确率不仅没有提高，反而比直接使用SVM 分类器降低了12.5个百分点。另外，通过表2的对比可以看出，除了Ionosphere 数据集上直接使用GPLVM 进行数据降维获得的正确率比方法2高出0.8个百分点，其他三个数据集的准确率均低于方法2。说明了在多数数据集上直接利用方法1就可以获得较好的分类正确率，但方法2更为准确可靠，能够更加有效地滤除噪声特征的影响。
实验选取的Segment 数据集具有7个类别，在Segment 数据集上进一步实验，以比较分析实验获得的正确率、召回率和F-measure 三个评价标准上面的表现。将两种方法的实验结果进行比较分析，方法2正确率的提高主要体现在cement 和grass 两个类别的分类上，召回率和F-measure 在7个类别上均有显著的提高，进一步验证了本文方法的有效性，表3给出了详细的对比结果。表中P 表示正确率，R 表示召回率。
表3 多类问题详细分类结果
SVM
方法2 类别 P R F-measure P R F-measure
brickface
sky foliage cement window path grass
0.9961 0.9530.3430.9591 0.481
0.73 0.5120.5480.8420.57 0.67 0.703
0.843 0.677 0.696 0.488 0.715 0.802 0.571
0.997 1 0.884 0.96 0.902 0.988 1
0.982 1 0.948 0.945 0.861 1 0.991
0.989 1 0.915 0.953 0.981 0.994 0.995
4 结论
本文研究了将高斯过程潜变量模型同支持向量机相结合实现高维数据分类的方法。GPLVM 是新型的非线性降维方法，利用其保持原数据空间样本距离的特性，提出了一种新的阶梯跳跃式降维方法。降维过程中对输入数据进行迭代动态调整，支持向量机分类器的结果作为模型的性能评价标准。在UCI 数据集的实验中，可以看出本文方法能有效的降低样本数据维数，同时提高分类精度。跟直接利用GPL VM 降维操作比较起来，阶梯跳跃方法在保证分类正确率的前提下，表现的更为稳定，能够更为有效的滤除噪声特征的影响。提高分类速度，将算法进一步应用到大规模数据集上以及研究新的维数搜索方法，将是本文下一步研究的工作。
（下转第2955页）
2009年5月 瞿叶高，
等：ADAMS 二次开发技术在气动潜孔锤虚拟样机建模中的应用 May, 2009 ·2955·
测试试验结果对仿真得出的潜孔锤性能参数进行了考核验证。
通过ADAMS 的后处理模块ADAMS/PostProcessor 可以获得潜孔锤虚拟样机中活塞的运行周期、频率、速度等结果。将仿真获得的潜孔锤冲击频率、冲击功及活塞的冲击末速度的结果与实测结果进行对比，见表1。
表1 仿真结果与实测结果对比
冲击频率(Hz)
冲击功(J)
冲击末速度(m/s)
仿真结果 20.67 492.63 7.09 实测结果 19
509
7.20 误差大小 8.79% 3.22%
1.53%
由表1可以看出，仿真结果误差很小(小于9%)，说明仿真的结果基本上反映了潜孔锤的实际工作情况，也证明了此气动潜孔锤虚拟样机方案的正确性与可行性。
4 结论
(1) 运用Visual C++对ADAMS 进行了二次开发，通过编制ADAMS 用户子程序可以实现气动潜孔锤活塞驱动力的加载，使得系统仿真顺利进行。
(2) 建立了气动潜孔锤虚拟样机模型，分析了各个工作气室的压力变化，对潜孔锤的结构设计及其工程施工应用均有一定的指导意义。
(3) 通过分析气动潜孔锤虚拟样机，可以获得的潜孔锤性能参数，如冲击频率、单次冲击功等，为优化潜孔锤性能提供了依据。
参考文献：
[1]
Bu Changgen, Qu Y egao, Liu Baolin. Dynamic Modeling and Simulation of DTH Hammer [C] //Proceeding of 16th CIRP International Design Seminar, Kananaskis, Alberta, Canda, July 16-19, 2006: 810-813. [2] William A Hurtrulid. Simple Formulas for Predicting Percussion Drilling Performance [J]. The Mines Magazine (S0096-4859), 1971, 8(3): 14-22. [3]
Lundberg B. Microcomputer simulation of stress wave energy to rock in percussive drilling [J]. International Journal of Rock Mechanics and Mining Sciences & Geomechanics Abstracts (S0148-9062), 1982, 19(2): 229-239. [4]
L E Chiang, D A Elías. Modeling impact in down-the-hole rock drilling [J]. International Journal of Rock Mechanics and Mining Sciences (S1365-1609), 2000, 37(4): 599-613. [5]
Ryan R R. ADAMS-Multibody System Analysis Software. Multibody Systems Handbook [M]. Schiehlen W , Ed. New York, USA: Springer- verlag, 1990. [6]
熊光楞, 李伯虎, 柴旭东. 虚拟样机技术[J]. 系统仿真学报, 2001, 13(1): 114-117. (Xiong Guang-leng, LI Bo-Hu. Virtual Prototyping Technology [J]. Journal of System Simulation (S1004-731X), 2001, 13(1): 114-117.) [7] MSC.ADAMS/Solver User's Manual [K]. USA: MSC.Software, 2003. [8]
G Ottarsson. INTRODUCTION TO THE ADAMS C++ SOLVER. [C]// 16th European ADAMS User Conference, Berchtesgaden, Germany, November 14-15, 2001:1-21.
(上接第2935页)
感谢: 匿名审稿人提出的修改意见对完善本文及下一步的研究工作均有很大的帮助，在此表示诚挚的感谢。
参考文献:
[1] J Han, M Kamber. Data Mining: Concepts and Techniques [M]. USA: Morgan Kaufmann, 2006.
[2] V N Vapnik. Statistical learning theory [M]. USA: Wiley, 1998. [3] V N Vapnik. The Nature of Statistical Learning Theory [M]. Germany: Springer, 2000.
[4]
L Eciolaza, M Alkarouri, N D Lawrence, V Kadirkamanathan, P J Fleming. Gaussian Process Latent Variable Models for Fault Detection [C]// IEEE Symposium on Computational Intelligence and Data Mining, 2007, CIDM 2007. USA: IEEE, 2007: 287-292.
[5] N D Lawrence. Gaussian process latent variable models for
visualization of high dimensional data [C]// Advances in Neural Information Processing Systems (NIPS) 16. Cambridge, MA, USA: MIT Press, 2004. [6]
N D Lawrence. Probabilistic non-linear principal component analysis with Gaussian process latent variable models [J]. Journal of machine learning Research (1532-4435), 2005, 6: 1783-1816.
[7] M E Tipping, C M Bishop. Probabilistic Principal Component
Analysis [J]. Journal of the Royal Statistical Society: Series B (Statistical Methodology) (1369-7412), 1999, 61(3): 611-622. [8] I H Witten, E Frank. Data Mining: Practical Machine Learning Tools and Techniques [M]. USA: Morgan Kaufmann, 2005.
[9]
C C Chang, C J Lin. LIBSVM: a library for support vector machines [Z/OL]. (2001) [2007]. http//www. csie. ntu. edu. tw/cjlin/libsvm.
(上接第2939页)
[3] Yizong Cheng. Mean Shift, Mode Seeking, and Clustering [J]. IEEE
Transactions on Pattern Analysis and Machine Intelligence (S0162-8828), 1995, 17(8): 790-799.
[4] Comaniciu D, Ramesh V , Meer P. Real-Time Tracking of Non-Rigid
Objects using Mean Shift. In: Werner B, ed. [C]// IEEE Int’l Proc. of the Computer Vision and Pattern Recognition, Vol 2. Stoughton, USA: Printing House, 2000: 142-149.
[5] Comaniciu D, Ramesh V , Meer P. Kernel-Based Object Tracking [J].
IEEE Transactions on Pattern Analysis and Machine Intelligence (S0162-8828), 2003, 25(5): 564-577.
[6] Robert Collins. Mean-shift Blob Tracking through Scale Space [C]//
Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Madison, Wisconsin, USA, 2003. USA: IEEE, 2003, 2: 234-240.
[7] 彭宁嵩, 杨杰. Mean-Shift 跟踪算法中核函数窗宽的自动选取[J].
软件学报, 2005, 16(9): 1542-1550.
[8] 贾静平, 柴艳妹. 一种健壮的目标多自由度Mean Shift 序列图像跟
踪算法[J]. 中国图象图形学报, 2006, 11(5): 707-713.
数据挖掘整理（熊熊整理-----献给梦中的天涯） 单选题 1．下面哪种分类方法是属于神经网络学习算法？（） A. 判定树归纳 B. 贝叶斯分类 C. 后向传播分类 D. 基于案例的推理 2．置信度(confidence)是衡量兴趣度度量（ A ）的指标。 A、简洁性 B、确定性 C.、实用性 D、新颖性 3．用户有一种感兴趣的模式并且希望在数据集中找到相似的模式，属于数据挖掘哪一类任务？(A) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 4．数据归约的目的是（） A、填补数据种的空缺值 B、集成多个数据源的数据 C、得到数据集的压缩表示 D、规范化数据 5．下面哪种数据预处理技术可以用来平滑数据，消除数据噪声？ A.数据清理 B.数据集成 C.数据变换 D.数据归约 6．假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？(B) A 第一个 B 第二个 C 第三个 D 第四个 7．下面的数据操作中，（）操作不是多维数据模型上的OLAP操作。 A、上卷(roll-up) B、选择(select) C、切片(slice) D、转轴(pivot) 8．关于OLAP和OLTP的区别描述,不正确的是: (C) A. OLAP主要是关于如何理解聚集的大量不同的数据.它与OTAP应用程序不同. B. 与OLAP应用程序不同,OLTP应用程序包含大量相对简单的事务. C. OLAP的特点在于事务量大,但事务内容比较简单且重复率高. D. OLAP是以数据仓库为基础的,但其最终数据来源与OLTP一样均来自底层的数据库系统,两者面对的用户是相同的 9．下列哪个描述是正确的？（） A、分类和聚类都是有指导的学习 B、分类和聚类都是无指导的学习
高维数据的低维表示综述 一、研究背景 在科学研究中，我们经常要对数据进行处理。而这些数据通常都位于维数较高的空间，例如，当我们处理200个256*256的图片序列时，通常我们将图片拉成一个向量，这样，我们得到了65536*200的数据，如果直接对这些数据进行处理，会有以下问题：首先，会出现所谓的“位数灾难”问题，巨大的计算量将使我们无法忍受；其次，这些数据通常没有反映出数据的本质特征，如果直接对他们进行处理，不会得到理想的结果。所以，通常我们需要首先对数据进行降维，然后对降维后的数据进行处理。 降维的基本原理是把数据样本从高维输入空间通过线性或非线性映射投影到一个低维空间，从而找出隐藏在高维观测数据中有意义的低维结构。（8） 之所以能对高维数据进行降维，是因为数据的原始表示常常包含大量冗余： · 有些变量的变化比测量引入的噪声还要小，因此可以看作是无关的 · 有些变量和其他的变量有很强的相关性(例如是其他变量的线性组合或是其他函数依赖关系)，可以找到一组新的不相关的变量。（3） 从几何的观点来看，降维可以看成是挖掘嵌入在高维数据中的低维线性或非线性流形。这种嵌入保留了原始数据的几何特性，即在高维空间中靠近的点在嵌入空间中也相互靠近。（12） 数据降维是以牺牲一部分信息为代价的，把高维数据通过投影映射到低维空间中，势必会造成一些原始信息的损失。所以在对高维数据实施降维的过程中如何在最优的保持原始数据的本质的前提下，实现高维数据的低维表示，是研究的重点。（8） 二、降维问题 1．定义 定义1.1降维问题的模型为(,)X F ，其中D 维数据空间集合{}1N l l X x ==（一般为D R 的一个子集），映射F :F X Y →(),x y F x →=
数据挖掘分类算法比较 分类是数据挖掘、机器学习和模式识别中一个重要的研究领域。通过对当前数据挖掘中具有代表性的优秀分类算法进行分析和比较，总结出了各种算法的特性，为使用者选择算法或研究者改进算法提供了依据。 一、决策树（Decision Trees） 决策树的优点： 1、决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。 2、对于决策树，数据的准备往往是简单或者是不必要的.其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。 3、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。 4、决策树是一个白盒模型。如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。 5、易于通过静态测试来对模型进行评测。表示有可能测量该模型的可信度。 6、在相对短的时间内能够对大型数据源做出可行且效果良好的结果。 7、可以对有许多属性的数据集构造决策树。 8、决策树可很好地扩展到大型数据库中，同时它的大小独立于数据库的大小。 决策树的缺点： 1、对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征。 2、决策树处理缺失数据时的困难。 3、过度拟合问题的出现。 4、忽略数据集中属性之间的相关性。 二、人工神经网络 人工神经网络的优点：分类的准确度高,并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系，具备联想记忆的功能等。 人工神经网络的缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。
数据融合方法 随着交通运行状态评价研究的不断发展，对数据的准确性和广泛覆盖性提出了更高的要求，在此基础上，不同的数据融合模型被引进应用于交通领域中来计算不同检测设备检测到的数据。现阶段，比较常用的数据融合方法主要有：表决法、模糊衰退、贝叶斯汇集技术、BP神经网络、卡尔曼滤波法、D．S理论等方法。 1现有方法应用范围 结合数据融合层次的划分，对数据融合方法在智能交通领域的应用作以下归纳总结： 表数据融合层次及对应的方法 2各种融合方法的优缺点 主要指各种融合方法的理论、应用原理等的不同，呈现出不同的特性。从理论成熟度、运算量、通用性和应用难度四个方面进行优缺点的比较分析，具体内容如下： (1)理论成熟度方面：卡尔曼滤波、贝叶斯方法、神经网络和模糊逻辑的理论已经基本趋于成熟；D—S证据推理在合成规则的合理性方
面还存有异议；表决法的理论还处于逐步完善阶段。 (2)运算量方面：运算量较大的有贝叶斯方法、D．S证据推理和神经网络，其中贝叶斯方法会因保证系统的相关性和一致性，在系统增加或删除一个规则时，需要重新计算所有概率，运算量大；D．S证据推理的运算量呈指数增长，神经网络的运算量随着输入维数和隐层神经元个数的增加而增长；运算量适中的有卡尔曼滤波、模糊逻辑和表决法。 (3)通用性方面：在这六种方法中，通用性较差的是表决法，因为表决法为了迁就原来产生的框架，会割舍具体领域的知识，造成其通用性较差；其他五种方法的通用性相对较强。 (4)应用难度方面：应用难度较高的有神经网络、模糊逻辑和表决法，因为它们均是模拟人的思维过程，需要较强的理论基础；D．S证据推理的应用难度适中，因其合成规则的难易而定：卡尔曼滤波和贝叶斯方法应用难度较低。 3 适用的交通管理事件 之前数据融合技术在交通领域中的应用多是在例如车辆定位、交通事件识别、交通事件预测等交通事件中，但是几乎没有数据融合技术在交通运行状态评价的应用研究，而本文将数据融合技术应用在交通运行状态评价中，为了寻找到最适用于交通运行状态评价的数据融合技术方法，有必要将之前适用于其它交通管理事件的数据融合技术进行评价比较。 表2 各种融合方法适用的交通管理事件的比较
全面解析数据挖掘的分类及各种分析方法 1.数据挖掘能做以下六种不同事情（分析方法）： ?分类（Classification） ?估值（Estimation） ?预言（Prediction） ?相关性分组或关联规则（Affinitygroupingorassociationrules） ?聚集（Clustering） ?描述和可视化（DescriptionandVisualization） ?复杂数据类型挖掘(Text,Web,图形图像，视频，音频等) 2.数据挖掘分类 以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘?直接数据挖掘 目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述。 ?间接数据挖掘 目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系。 ?分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘 3.各种分析方法的简介 ?分类（Classification） 首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。 例子： a.信用卡申请者，分类为低、中、高风险 b.分配客户到预先定义的客户分片 注意：类的个数是确定的，预先定义好的 ?估值（Estimation） 估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类的类别是确定数目的，估值的量是不确定的。 例子： a.根据购买模式，估计一个家庭的孩子个数 b.根据购买模式，估计一个家庭的收入 c.估计realestate的价值
数据挖掘常用的方法 在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪 声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知 识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统 计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正 确的决策。目前，在很多领域尤其是在商业领域如银行、电信、电商等，数据挖掘可 以解决很多问题，包括市场营销策略制定、背景分析、企业管理危机等。大数据的挖 掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。 (1)分类。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。 可以应用到涉及到应用分类、趋势预测中，如淘宝商铺将用户在一段时间内的购买情 况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。 (2)回归分析。回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的 研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的 回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。 (3)聚类。聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的 相似性很小，跨类的数据关联性很低。 (4)关联规则。关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段：第一阶 段为从海量原始数据中找出所有的高频项目组;第二极端为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求，各 银行在自己的ATM 机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信息来改善自身的营销。 (5)神经网络方法。神经网络作为一种先进的人工智能技术，因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、不完整、不严密的知 识或数据为特征的处理问题，它的这一特点十分适合解决数据挖掘的问题。典型的神 经网络模型主要分为三大类：第一类是以用于分类预测和模式识别的前馈式神经网络 模型，其主要代表为函数型网络、感知机;第二类是用于联想记忆和优化算法的反馈式神经网络模型，以Hopfield 的离散模型和连续模型为代表。第三类是用于聚类的自组
高维、相依和不完全数据的统计分析 高维、相依和不完全数据的统计分析李国英中国科学院数学与系统科学研 究院系统科学所 现代科学技术和社会经济的许多领域都遇到高维、相依和不完全数据的统 计分析问题，它是目前统计学应用和理论中面临困难最多、挑战最严峻，也是 最有可能取得突破的研究领域之一。本文试就笔者个人的认识，分三部分介绍、讨论与该领域有关的情况和问题。首先简要讲述统计学的发展情况，然后介绍 我国学者在相关领域中的研究成果，最后探讨该领域中一些值得注意的研究方向。本文旨在抛砖引玉，以期得到国内同仁对统计学发展更多的关心和支持。 由于笔者水平和知识所限，定有疏漏和不妥之处，欢迎批评指正。 统计学(statistics,我国习惯上称为数理统计)研究有效地收集、分析和解释数据，以提取信息、建立模型，并进行推断、预测和决策的方法和理论。人 类在社会、生产和科学活动中常常通过实验、观测和调查获得数据(包括各种资料)，再从数据中获得知识。统计学正是在这样的过程中产生和发展起来的。社会经济、科学技术和工农业生产的发展是它的源泉和动力，也是它的目的和归宿。统计学的本质性特征决定了它有广泛的应用性和很强的交叉性。 大致从十七世纪开始，由于天文、物理、生物、遗传以及人口和社会调查 等方面的需要而萌发了统计学。例如，17世纪中期，J.Graunt在人口死亡等社会问题的研究中，发展了最早的描述统计；18世纪末19世纪初， A.M.Legendre和C.F.Gauss在研究测地学和天体物理的数据分析中，提出了最 小二乘法和误差的正态分布理论；19世纪中期，F.Galton在研究生物遗传规律的过程中发明了相关分析和回归分析方法。关于统计学的早期历史可参阅陈希 孺的文章《数理统计学小史》(《数理统计与管理》，1998年第2期至1999年 第6期)。进入二十世纪以后，相继出现了几位伟大的数学家和统计学家 K.Pearson、R.A.Fisher、 A.N.Kolmogrov、N.Neyman、E.Pearson和A.Wald等，由于他们的奠基性 工作，统计学方法和理论都有了很大发展，到四十年代中期成为一门成熟的学
一、背景介绍： 多传感器数据融合是一种信号处理、辨识方法，可以与神经网络、小波变换、kalman 滤波技术结合进一步得到研究需要的更纯净的有用信号。 多传感器数据融合涉及到多方面的理论和技术，如信号处理、估计理论、不确定性理论、最优化理论、模式识别、神经网络和人工智能等。多传感器数据融合比较确切的定义可概括为：充分利用不同时间与空间的多传感器数据资源，采用计算机技术对按时间序列获得的多传感器观测数据，在一定准则下进行分析、综合、支配和使用，获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它的各组成部分更充分的信息。 多传感器信息融合技术通过对多个传感器获得的信息进行协调、组合、互补来克服单个传感器的不确定和局限性，并提高系统的有效性能，进而得出比单一传感器测量值更为精确的结果。数据融合就是将来自多个传感器或多源的信息在一定准则下加以自动分析、综合以完成所需的决策和估计任务而进行的信息处理过程。当系统中单个传感器不能提供足够的准确度和可靠性时就采用多传感器数据融合。数据融合技术扩展了时空覆盖范围，改善了系统的可靠性，对目标或事件的确认增加了可信度，减少了信息的模糊性，这是任何单个传感器做不到的。 实践证明：与单传感器系统相比，运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面，能够增强系统生存能力，提高整个系统的可靠性和鲁棒性，增强数据的可信度，并提高精度，扩展整个系统的时间、空间覆盖率，增加系统的实时性和信息利用率等。信号级融合方法最简单、最直观方法是加权平均法，该方法将一组传感器提供的冗余信息进行加权平均，结果作为融合值，该方法是一种直接对数据源进行操作的方法。卡尔曼滤波主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。 多传感器数据融合虽然未形成完整的理论体系和有效的融合算法，但在不少应用领域根据各自的具体应用背景，已经提出了许多成熟并且有效的融合方法。多传感器数据融合的常用方法基本上可概括为随机和人工智能两大类，随机类方法有加权平均法、卡尔曼滤波法、多贝叶斯估计法、产生式规则等;而人工智能类则有模糊逻辑理论、神经网络、粗集理论、专家系统等。可以预见，神经网络和人工智能等新概念、新技术在多传感器数据融合中将起到越来越重要的作用。 数据融合存在的问题 (1)尚未建立统一的融合理论和有效广义融合模型及算法； (2)对数据融合的具体方法的研究尚处于初步阶段； (3)还没有很好解决融合系统中的容错性或鲁棒性问题； (4)关联的二义性是数据融合中的主要障碍； (5)数据融合系统的设计还存在许多实际问题。 二、算法介绍： 2.1多传感器数据自适应加权融合估计算法： 设有n 个传感器对某一对象进行测量，如图1 所示，对于不同的传感器都有各自不同的加权因子，我们的思想是在总均方误差最小这一最优条件下，根据各个传感器所得到的测量值以自适应的方式寻找各个传感器所对应的最优加权因子，使融合后的X值达到最优。
数据融合各种算法及数学知识汇总 粗糙集理论 理论简介 面对日益增长的数据库，人们将如何从这些浩瀚的数据中找出有用的知识？ 我们如何将所学到的知识去粗取精？什么是对事物的粗线条描述什么是细线条描述？ 粗糙集合论回答了上面的这些问题。要想了解粗糙集合论的思想，我们先要了解一下什么叫做知识？假设有8个积木构成了一个集合A，我们记： A={x1,x2,x3,x4,x5,x6,x7,x8}，每个积木块都有颜色属性，按照颜色的不同，我们能够把这堆积木分成R1={红，黄，蓝}三个大类，那么所有红颜色的积木构成集合X1={x1,x2,x6}，黄颜色的积木构成集合X2={x3,x4}，蓝颜色的积木是：X3={x5,x7,x8}。按照颜色这个属性我们就把积木集合A进行了一个划分(所谓A的划分就是指对于A中的任意一个元素必然属于且仅属于一个分类），那么我们就说颜色属性就是一种知识。在这个例子中我们不难看到，一种对集合A的划分就对应着关于A中元素的一个知识，假如还有其他的属性，比如还有形状R2={三角,方块,圆形}，大小R3={大,中,小}，这样加上R1属性对A构成的划分分别为： A/R1={X1,X2,X3}={{x1,x2,x6},{x3,x4},{x5,x7,x8}} （颜色分类） A/R2={Y1,Y2,Y3}={{x1,x2},{x5,x8},{x3,x4,x6,x7}} （形状分类） A/R3={Z1,Z2,Z3}={{x1,x2,x5},{x6,x8},{x3,x4,x7}} （大小分类） 上面这些所有的分类合在一起就形成了一个基本的知识库。那么这个基本知识库能表示什么概念呢？除了红的{x1,x2,x6}、大的{x1,x2,x5}、三角形的{x1,x2}这样的概念以外还可以表达例如大的且是三角形的 {x1,x2,x5}∩{x1,x2}={x1,x2}，大三角{x1,x2,x5}∩{x1,x2}={x1,x2}，蓝色的小的圆形({x5,x7,x8}∩{x3,x4,x7}∩{x3,x4,x6,x7}={x7}，蓝色的或者中的积木{x5,x7,x8}∪{x6,x8}={x5,x6,x7,x8}。而类似这样的概念可以通过求交运算得到，比如X1与Y1的交就表示红色的三角。所有的这些能够用交、并表示的概念以及加上上面的三个基本知识(A/R1,A/R2.A/R3)一起就构成了一个知识系统记为R=R1∩R2∩R3，它所决定的所有知识是 A/R={{x1,x2},{x3,x4},{x5},{x6},{x7},{x8}}以及A/R中集合的并。 下面考虑近似这个概念。假设给定了一个A上的子集合X={x2,x5,x7}，那么用我们的知识库中的知识应该怎样描述它呢？红色的三角？****的大圆？ 都不是，无论是单属性知识还是由几个知识进行交、并运算合成的知识，都不能得到这个新的集合X，于是我们只好用我们已有的知识去近似它。也就是在所有的现有知识里面找出跟他最像的两个一个作为下近似，一个作为上近似。于是我们选择了“蓝色的大方块或者蓝色的小圆形”这个概念： {x5,x7}作为X的下近似。选择“三角形或者蓝色的”{x1,x2,x5,x7,x8}作为它的上近似，值得注意的是，下近似集是在那些所有的包含于X的知识库
第21卷第10期 系 统 仿 真 学 报? V ol. 21 No. 10 2009年5月 Journal of System Simulation May, 2009 ? 2933 ? 高维数据分类方法研究 田 江, 顾 宏 （大连理工大学电子与信息工程学院，大连 116023） 摘 要：在对高维度数据进行模式分类时，能否有效进行降维是一个关键问题。提出了一种结合高斯过程潜变量模型(GPLVM)和支持向量机(SVM)的阶梯跳跃降维分类框架方法，能有效的降低样本数据维数，同时提高分类器性能。利用GPLVM 实现数据的平滑映射，对输入样本进行非线性降维后，根据SVM 的分类校验结果进行下一步降维迭代操作；计算新的阶梯维数，根据反馈动态调整降维输入数据。利用该方法对UCI 上的数据集进行分类，仿真结果验证了方法的有效性。 关键词：高斯过程潜变量模型；支持向量机；模式分类；阶梯跳跃降维 中图分类号：TP18 文献标识码：A 文章编号：1004-731X (2009) 10-2933-03 Study on Classification Methods for High-dimensional Data TIAN Jiang, GU Hong (School of Electronic and Information Engineering, Dalian University of Technology, Dalian 116023, China) Abstract: Effective dimensionality reduction is a key issue in high-dimensional data classification. A new ladder jumping dimensional reduction classification framework was proposed which combined the Gaussian process latent variable model (GPLVM) and the Support Vector Machine (SVM). The data dimensions were reduced remarkably, while at the same time improving the performance of SVM classifiers. For the purpose of nonlinear low dimensional embedding of sample datasets, GPLVM provides a smooth probabilistic mapping from latent to data space. According to the feedback results of SVM, the renewed ladder dimension was calculated and the input data was adjusted dynamically. The proposed approach was applied to four benchmark problems, and the simulation results show its validity. Key words: GPLVM; SVM; pattern classification; ladder jumping dimension reduction 引 言模式分类是模式识别中的一项重要内容 ,也是处理许多其它问题的核心。用于模式分类的方法很多 ,传统的模式分类方法主要基于统计分析理论, 如 Bayesian 方法、Fisher 判别、K 近邻分类等。近年来复杂非线性高维数据分析、处理的需要则促进了神经网络、模糊推理及支持向量机等方法的研究与应用[1] 。其中支持向量机的理论基础是V apnik [2, 3] 等提出的统计学习理论，采用结构风险最小化准则 ,在最小化样本点误差的同时,缩小模型泛化误差的上界,即最小化模型的结构风险,从而提高了模型的泛化能力。支持向量机方法的分类性能受特征空间的选择影响较大，在很多应用领域中数据包含大量的特征，过高的特征维数使得训练及分类的速度变慢，同时也会使分类的正确率下降。 主成分分析(PCA)是目前广泛应用的一种降维方法，将多个变量化为少数几个互不相关的主成分,从而描述数据集的内部结构。高斯过程潜变量模型(GPLVM)[4-6]由Lawrence 于2004年提出，是一种新的无监督非线性数据降维方法，实现概率非线性的主成分分析。本文在GPLVM 的基础上，结合支持向量机提出了一种阶梯跳跃式降维的方法，对样本进行动态调整，支持向量机做为分类器迭代计算模型的性能评价标准和最后的分类结果。在UCI 标杆数据集上进行了 收稿日期：2008-01-02 修回日期：2008-07-23 作者简介：田江(1979-), 男, 河北唐山人, 博士生, 研究方向为数据挖掘等；顾宏(1961-), 辽宁大连人, 教授, 博导, 研究方向为数据挖掘, 移动商务等。 相关的仿真实验，实验结果表明了该方法可以获得最优的特征子集，有效的提高了分类的正确率，证明了方法的有效性。 1 高斯过程潜变量模型 高斯过程潜变量模型(GPLVM)[4-6]是一个完全概率非线性的实现主成分分析的潜变量模型。对主成分分析进行概率解释，写成一组具有线性协方差方程的高斯过程的积形式。 设d 维观测数据集记为： 11[,:,...,,:][:,,...,:,]T n d n d Y y y y y ×==∈? 设q 维潜变量数据集记为 11[,:,...,,:][:,,...,:,]T n q n q X x x x x ×==∈? 概率PCA [7]是一个简单的潜变量模型，给出了观测数据y 和潜变量x 之间的关系，它利用低维的潜变量来表示高维 观测数据，具体描述的是线性关系： ,:,:,:i i i y Wx η=+ (1) 其中d q W ×∈?是映射矩阵，噪声向量,:i η服从于均值为0，方差为2I σ的正态分布。 将潜变量同观测数据联系起来，假定各数据相互独立，令条件概率为: 2,:,:1 (|,)(|,)n i i i p Y X W N y Wx I σ==Π (2) 定义潜变量的高斯先验分布表示为: ,:1 ()(|0,)n i i p X N x I ==Π (3) ,:1(|)(|0,)n i i p Y W N y C ==Π (4)
朴素贝叶斯： 有以下几个地方需要注意： 1. 如果给出的特征向量长度可能不同，这是需要归一化为通长度的向量（这里以文本分类为例），比如说是句子单词的话，则长度为整个词汇量的长度，对应位置是该单词出现的次数。 2. 计算公式如下： 其中一项条件概率可以通过朴素贝叶斯条件独立展开。要注意一点就是的计算方法，而由朴素贝叶斯的前提假设可知， = ，因此一般有两种，一种是在类别为ci的那些样本集中，找到wj出现次数的总和，然后除以该样本的总和；第二种方法是类别为ci的那些样本集中，找到wj出现次数的总和，然后除以该样本中所有特征出现次数的总和。 3. 如果中的某一项为0，则其联合概率的乘积也可能为0，即2中公式的分子为0，为了避免这种现象出现，一般情况下会将这一项初始化为1，当然为了保证概率相等，分母应对应初始化为2（这里因为是2类，所以加2，如果是k类就需要加k，术语上叫做laplace 光滑, 分母加k的原因是使之满足全概率公式）。 朴素贝叶斯的优点： 对小规模的数据表现很好，适合多分类任务，适合增量式训练。 缺点： 对输入数据的表达形式很敏感。 决策树： 决策树中很重要的一点就是选择一个属性进行分枝，因此要注意一下信息增益的计算公式，并深入理解它。 信息熵的计算公式如下:
其中的n代表有n个分类类别（比如假设是2类问题，那么n=2）。分别计算这2类样本在总样本中出现的概率p1和p2，这样就可以计算出未选中属性分枝前的信息熵。 现在选中一个属性xi用来进行分枝，此时分枝规则是：如果xi=vx的话，将样本分到树的一个分支；如果不相等则进入另一个分支。很显然，分支中的样本很有可能包括2个类别，分别计算这2个分支的熵H1和H2,计算出分枝后的总信息熵H’=p1*H1+p2*H2.，则此时的信息增益ΔH=H-H’。以信息增益为原则，把所有的属性都测试一边，选择一个使增益最大的属性作为本次分枝属性。 决策树的优点： 计算量简单，可解释性强，比较适合处理有缺失属性值的样本，能够处理不相关的特征； 缺点： 容易过拟合（后续出现了随机森林，减小了过拟合现象）； Logistic回归： Logistic是用来分类的，是一种线性分类器，需要注意的地方有： 1. logistic函数表达式为： 其导数形式为： 2. logsitc回归方法主要是用最大似然估计来学习的，所以单个样本的后验概率为： 到整个样本的后验概率：
常用数据分析方法有那些 文章来源：ECP数据分析时间：2013/6/2813:35:06发布者：常用数据分析（关注：554） 标签： 本文包括： 常用数据分析方法：聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析； 问卷调查常用数据分析方法：描述性统计分析、探索性因素分析、Cronbach’a 信度系数分析、结构方程模型分析(structural equations modeling)。 数据分析常用的图表方法：柏拉图(排列图)、直方图(Histogram)、散点图(scatter diagram)、鱼骨图（Ishikawa）、FMEA、点图、柱状图、雷达图、趋势图。 数据分析统计工具：SPSS、minitab、JMP。 常用数据分析方法: 1、聚类分析（Cluster Analysis） 聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。聚类分析所使用方法的不同，常常会得到不同的结论。不同研究者对于同一组数据进行聚类分析，所得到的聚类数未必一致。 2、因子分析（Factor Analysis） 因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系，减少决策的困难。 因子分析的方法约有10多种，如重心法、影像分析法，最大似然解、最小平方法、阿尔发抽因法、拉奥典型抽因法等等。这些方法本质上大都属近似方法，是以相关系数矩阵为基础的，所不同的是相关系数矩阵对角线上的值，采用不同的共同性□2估值。在社会学研究中，因子分析常采用以主成分分析为基础的反覆法。 3、相关分析（Correlation Analysis） 相关分析（correlation analysis），相关分析是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度。相关关系是一种非确定性的关系，例如，以X和Y分别记一个人的身高和体重，或分别记每公顷施肥量与每公顷小麦产量，则X与Y显然有关系，而又没有确切到可由其中的一个去精确地决定另一个的程度，这就是相关关系。 4、对应分析（Correspondence Analysis） 对应分析(Correspondence analysis)也称关联分析、R-Q型因子分析，通过分析由定性变量构成的交互汇总表来揭示变量间的联系。可以揭示同一变量的各个类别之间的差异，以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。 1. C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 2. The k-means algorithm 即K-Means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 3. Support vector machines 支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和 Barnard 将支持向量机和其他分类器进行了
统计分类就是根据事物的内在特点，按照一定标志将重复出现的社会经济现象体区分为不同的类型。 统计分布是在统计分组的基础上，把总体的所有单位按组归排列。形成总体中各个单位在各组间的分布。其实质是把总体的全部单位按某标志所分的组进行分配所形成的数列，所以又称分配数列或分布数列。统计分布由两个构成要素所组成：总体按某标志所分的组，各组所占有的单位数—次数。根据分组标志的不同，分配数列分为品质分配数列和变量分配数列。统计分布分为离散型分布和连续型分布。常见的离散型分布有：0-1分布B(1,p)、二项分布B(n,p)、泊松分布P(λ)；常见的连续型分布有：均匀分布U[a,b]、指数分布E[λ]、Γ-分布Γ(λ,α)、正态分布N(μ,σ2)。 数据展示方式，即数据描述方式。 一、用图表展示定性数据。定性数据包括分类数据和顺序数据，它们的图表展示方法基本相同。通常可以用频数分布表和图形来描述。其中，图形描述又分为饼图、条形图、环形图。 二、用图表展示定量数据。定性数据的图示表示方法，也都适用于定量数据。但定量数据还有一些特定的图示方法，它们并不适用于定性数据。1、生成频数分别表；2、定量数据的图形表示。常用来表述定量数据统计图形有：直方图、折线图和散点图。 三、用统计表来表示数据。统计表是一种用密集的形式归纳数据的方法，它主要利用行和列中的数据来表述现象特征。 四、用数字来概括数据。1、定性数据的数字特征。由于定性数据主要是计数，比较简单，对定性数据的集中趋势常用的方法就是计算比例、百分比、中位数和众数；2、定量数据的数字特征。反映定量数据特征的统计量常用的有：1、反映数据集中趋势的水平度量：平均数、中位数、众数和分位数等；2、反映数据离散程度的差异度量：极差、四分位差、标准差和方差。
《数据挖掘分类实验报告》 信息安全科学与工程学院 1120362066 尹雪蓉数据挖掘分类过程 （1）数据分析介绍 本次实验为典型的分类实验，为了便于说明问题，弄清数据挖掘具体流程，我们小组选择了最经典的决策树算法进行具体挖掘实验。 （2）数据准备与预处理 在进行数据挖掘之前，我们首先要对需要挖掘的样本数据进行预处理，预处理包括以下步骤： 1、数据准备，格式统一。将样本转化为等维的数据特征（特征提取），让所有的样 本具有相同数量的特征，同时兼顾特征的全面性和独立性 2、选择与类别相关的特征（特征选择） 3、建立数据训练集和测试集 4、对数据集进行数据清理 在本次实验中，我们选择了ILPD (Indian Liver Patient Dataset) 这个数据集，该数据集已经具有等维的数据特征，主要包括Age、Gender、TB、DB、Alkphos、Sgpt、Sgot、TP、ALB、A/G、classical，一共11个维度的数据特征，其中与分类类别相关的特征为classical，它的类别有1,2两个值。 详见下表： 本实验的主要思路是将该数据集分成训练集和测试集，对训练集进行训练生成模型，然后再根据模型对测试集进行预测。 数据集处理实验详细过程：
●CSV数据源处理 由于下载的原始数据集文件Indian Liver Patient Dataset (ILPD).csv（见下图）中间并不包含属性项，这不利于之后分类的实验操作，所以要对该文件进行处理，使用Notepad文件，手动将属性行添加到文件首行即可。 ●平台数据集格式转换 在后面数据挖掘的实验过程中，我们需要借助开源数据挖掘平台工具软件weka，该平台使用的数据集格式为arff，因此为了便于实验，在这里我们要对csv文件进行格式转换，转换工具为weka自带工具。转换过程为： 1、打开weka平台，点击”Simple CLI“，进入weka命令行界面，如下图所示： 2、输入命令将csv文件导成arff文件，如下图所示: 3、得到arff文件如下图所示： 内容如下：
数据融合是WSN中非常重要的一项技术，也是目前的一个研究热点，通过一定算法将采集到的数据进行各种网内处理，去除冗余信息，减少数据传输量，降低能耗，延长网络生命周期。本文以从降低传输数据量和能量方面对数据融合方法进行分类，介绍其研究现状。 1.与路由相结合的数据融合 将路由技术和数据融合结合起来，通过在数据转发过程中适当地进行数据融合，减轻网络拥塞，延长网络生存时间[1]。 1.1查询路由中的数据融合 定向扩散（directed diffusion）[2]作为查询路由的代表，数据融合主要是在其数据传播阶段进行，采用抑制副本的方法，对转发过的数据进行缓存，若发现重复数据将不予转发，该方法有很好的能源自适应性，但是他只能在他选择的随机路由上进行数据融合，并不是最优方案。 1.2分层路由中的数据融合 Wendi Rabiner Heinzelman 等提出了在无线传感器网络中使用分簇概念,其将网络分为不同层次的LEACH 算法[3] :通过某种方式周期性随机选举簇头,簇头在无线信道中广播信息,其余节点检测信号 并选择信号最强的簇头加入,从而形成不同的簇。每个簇头在收到本簇成员后进行数据融合处理，并将结果发送给汇集节点。LEACH算法仅强调数据融合的重要性，但未给出具体的融合方法。TEEN是LEACH 算法的改进[4]，通过缓存机制抑制不需要转发的数据，进一步减少数据融合过程中的数据亮。
1.3链式路由中的数据融合 Lindsey S 等人在L EACH 的基础上,提出了PEGASIS 算法[5]每个节点通过贪婪算法找到与其最近的邻居并连接,从而整个网络形成一个链,同时设定一个距离Sink 最近的节点为链头节点,它与Sink进行一跳通信。数据总是在某个节点与其邻居之间传输,节点通过多跳方式轮流传输数据到Sink 处，位于链头节点和源节点之间的节点进行融合操作，最终链头节点将结果传送给汇聚节点。链式结构使每个节点发送数据距离几乎最短，比LEACH节能，但增大了数据传送的平均延时，和传输失败率。PEDAP (power efficient data gathering and aggregation protocol) [6]协议进一步发展了PEGASIS 协议,其核心思想是把WSN 的所有节点构造成一棵最小汇集树(minimum spanning tree) 。节点不管在每一轮内接收到多少个来自各子节点的数据包,都将压缩融合为单个数据包,再进行转发,以最小化每轮数据传输的 总能耗。然而,PEDAP 存在难以及时排除死亡节点(非能量耗尽) 的缺点。 2.基于树的数据融合 现有的算法有最短路径树（SPT）、贪婪增量树（GIT）、近源汇集树（CNS）和Steiner树以及他们的改进算法。Zhang [7]提出 DCTC(dynamic convey tree based collaboration) 算法。通过目标附近的节点协同构建动态生成树,协同组节点把测量数据沿确定的生成树向根节点传输,在传输过程中,汇聚节点对其子生成树节点的数 据进行数据融合。Luo [8-9]了MFST (minimum fusion steiner t ree)
一、实验目的 使用数据挖掘中的分类算法，对数据集进行分类训练并测试。应用不同的分类算法，比较他们之间的不同。与此同时了解Weka平台的基本功能与使用方法。 二、实验环境 实验采用Weka 平台，数据使用Weka安装目录下data文件夹下的默认数据集。 Weka是怀卡托智能分析系统的缩写，该系统由新西兰怀卡托大学开发。Weka使用Java 写成的，并且限制在GNU通用公共证书的条件下发布。它可以运行于几乎所有操作平台，是一款免费的，非商业化的机器学习以及数据挖掘软件。Weka提供了一个统一界面，可结合预处理以及后处理方法，将许多不同的学习算法应用于任何所给的数据集，并评估由不同的学习方案所得出的结果。 三、数据预处理 Weka平台支持ARFF格式和CSV格式的数据。由于本次使用平台自带的ARFF格式数据，所以不存在格式转换的过程。实验所用的ARFF格式数据集如图1所示 图1 ARFF格式数据集 对于iris数据集，它包含了150个实例（每个分类包含50个实例），共有sepal length、
sepal width、petal length、petal width和class五种属性。期中前四种属性为数值类型，class属性为分类属性，表示实例所对应的的类别。该数据集中的全部实例共可分为三类：Iris Setosa、Iris Versicolour和Iris Virginica。 实验数据集中所有的数据都是实验所需的，因此不存在属性筛选的问题。若所采用的数据集中存在大量的与实验无关的属性，则需要使用weka平台的Filter(过滤器)实现属性的筛选。 实验所需的训练集和测试集均为。 四、实验过程及结果 应用iris数据集，分别采用LibSVM、决策树分类器和朴素贝叶斯分类器进行测试和评价，分别在训练数据上训练出分类模型，找出各个模型最优的参数值，并对三个模型进行全面评价比较，得到一个最好的分类模型以及该模型所有设置的最优参数。最后使用这些参数以及训练集和校验集数据一起构造出一个最优分类器，并利用该分类器对测试数据进行预测。 1、LibSVM分类 Weka 平台内部没有集成libSVM分类器，要使用该分类器，需要下载并导入到Weka中。 用“Explorer”打开数据集“”，并在Explorer中将功能面板切换到“Classify”。点“Choose”按钮选择“functions，选择LibSVM分类算法。 在Test Options 面板中选择Cross-Validatioin folds=10，即十折交叉验证。然后点击“start”按钮：