下载文档原格式
数据挖掘十大算法数据挖掘是通过挖掘大规模数据集以发现隐藏的模式和关联性的过程。
在数据挖掘领域，存在许多算法用于解决各种问题。
以下是数据挖掘领域中被广泛使用的十大算法：1. 决策树（Decision Trees）：决策树是一种用于分类和回归的非参数算法。
它用树结构来表示决策规则，通过划分数据集并根据不同的属性值进行分类。
2. 支持向量机（Support Vector Machines，SVM）：SVM是一种二分类算法，通过在数据空间中找到一个最优的超平面来分类数据。
SVM在处理非线性问题时，可以使用核函数将数据映射到高维空间。
3. 朴素贝叶斯（Naive Bayes）：基于贝叶斯定理，朴素贝叶斯算法使用特征之间的独立性假设，通过计算给定特征下的类别概率，进行分类。
4. K均值聚类（K-means Clustering）：K均值聚类是一种无监督学习算法，用于将数据集分割成多个类别。
该算法通过计算样本之间的距离，并将相似的样本聚类在一起。
5. 线性回归（Linear Regression）：线性回归是一种用于建立连续数值预测模型的算法。
它通过拟合线性函数来寻找自变量和因变量之间的关系。
6. 关联规则（Association Rules）：关联规则用于发现数据集中项集之间的关联性。
例如，购买了商品A的人也常常购买商品B。
7. 神经网络（Neural Networks）：神经网络是一种模拟人脑神经元网络的算法。
它通过训练多个神经元之间的连接权重，来学习输入和输出之间的关系。
9. 改进的Apriori算法：Apriori算法用于发现大规模数据集中的频繁项集。
改进的Apriori算法通过剪枝和利用频繁项集的性质来提高算法的效率。
10. 集成学习（Ensemble Learning）：集成学习是一种通过将多个学习器进行组合，从而提高分类准确率的算法。
常用的集成学习方法包括随机森林和梯度提升树。
这些算法在不同的场景和问题中有着不同的应用。
svm参数
SVM（支持向量机）参数是指在支持向量机算法中定义的超参数。
支持向量机是一种机器学习算法，用于分类和回归问题。
它通过将数据表示为N维空间中的点，然后找到最佳决策边界来将不同类型的点分开。
SVM参数包括：核函数、惩罚系数、正则化参数和精度等。
其中，核函数是一种对应点之间的映射，它在支持向量机算法中用于通过改变原始特征空间来提高模型性能。
核函数常见的类型有：线性核函数、多项式核函数和高斯核函数等。
核函数可以帮助支持向量机算法针对复杂的决策边界进行训练，从而提高模型的性能。
惩罚系数（C）是一种用于控制SVM算法的参数，用于控制算法的复杂度和正则化。
C参数越大，则SVM算法的复杂度越大。
惩罚系数用于控制SVM算法的方差，即模型的准确度和泛化能力之间的平衡。
正则化参数是一种用于控制SVM算法的参数，用于避免过拟合，从而使模型性能更高。
正则化参数越大，则模型更偏向于保守，从而更少受到过拟合的影响。
精度（epsilon）是SVM算法中的另一个参数，用于控制模型的精度。
精度越大，则模型性能越好，但是会增加训练时间。
总之，SVM参数是支持向量机算法中的一组重要参数，它们可以帮助控制模型的复杂度、正则化和精度，从而提高模型的性能。
监督分类有哪些方法监督分类是机器学习中的一种常见任务，主要是将输入的样本数据分为不同的预定义类别。
监督分类方法有很多种，可以根据算法的原理和特点进行分类。
以下是一些常用的监督分类方法：1. 逻辑回归（Logistic Regression）：逻辑回归是一种线性分类算法，常用于二分类任务。
它基于一个S形函数，将输入特征与权重进行线性组合，并通过一个sigmoid函数将结果映射到[0, 1]的范围内，从而得到分类概率。
2. 决策树（Decision Tree）：决策树通过对输入特征进行逐层划分，构建一个树状结构来进行分类。
它以特征的信息增益或基尼指数等作为准则来选择最佳的划分特征，从而在每个节点上进行分类决策。
3. 支持向量机（Support Vector Machines, SVM）：SVM是一种二分类算法，基于统计学习理论和结构风险最小化准则。
SVM利用核函数在高维特征空间中将样本映射为线性可分的，并通过寻找最大间隔超平面来进行分类。
4. k最近邻（k-Nearest Neighbors, k-NN）：k-NN是一种基于实例的分类算法，可以用于多分类任务。
它通过比较输入样本与训练样本之间的距离，并取最接近的k个邻居的标签来进行分类。
5. 朴素贝叶斯（Naive Bayes）：朴素贝叶斯基于贝叶斯定理和特征条件独立性假设，将输入特征的联合概率分解为各个特征的条件概率。
它通过计算后验概率来进行分类，选择具有最大概率的类别。
6. 神经网络（Neural Networks）：神经网络是一类模拟人脑神经元结构和工作机制的计算模型，在监督分类中常用于多分类任务。
它通过多层神经元处理输入特征，并通过反向传播算法来优化网络权重，从而实现分类。
7. 集成学习（Ensemble Learning）：集成学习将多个分类模型组合成一个更强大的模型，以提高分类性能和鲁棒性。
常见的集成方法包括随机森林（Random Forest）和梯度提升树（Gradient Boosting Tree）。
Extremelearningmachine（ELM）到底怎么样，有没有做的前途？【WeicongLiu的回答(20票)】:利益相关：我本科时候做过这个，发过两篇ELM的会议，其中一篇被推荐到某不知名SCI期刊。
不过读了phd之后就不做了。
我觉得做ELM这些人最大的问题在于：1. 喜欢把以前SVM上曾经有过的一些idea直接套用。
比如加入一些正则项，或者考虑imbalanced dataset，或者ensemble几个ELM，就可以将原算法改头换面发个新paper。
因为以前SVM上这类paper太多了，照搬的话就可以写出很多很多类似的paper。
大家可以浏览一下ELM历届会议的list，相信会有体会。
这样的paper，贡献会比较局限；2. 很多做ELM的paper直接把ELM用在某回归/分类的应用上，跟SVM比，因为速度快，所以也算是有贡献，所以也就发出来了。
不过实际上，这样的贡献还是很有限的，在那些问题上，1秒和0.01秒其实都没啥差别；3 做实验太喜欢用比较基础的数据集了，比如UCI，Yale B这种。
包括之前黄老师他们做的ELM Auto Encoder，用的也只是MNIST数据集；4 主要贡献大部分都是黄老师他们自己做出来的，其他人的贡献有限。
所以我的感觉是，做ELM可以发paper，但是很难在理论和应用上有突破进展。
当然我也只是个普通学生，从我自己的角度回答下，算是抛砖引玉。
我本人对黄老师非常尊敬，本科时候数次发邮件向他请教问题，他都非常耐心地给出了详细的解答。
【张明仁的回答(10票)】:ELM神经网络与传统方法确实区别比较明显。
在优化论中，随机性的引入通常有助于增强算法的泛化能力；而ELM神经网络随机化隐含层的做法，虽然大幅提高了运算速度，但却不可避免地造成了过拟合的隐患。
同时，所谓在理论上证明的ELM神经网络的表达能力，也不过是线性方程组的简单结论，从训练上讲与SVM、核回归等方法无本质差异，因此至少在理论上我不认为ELM有什么大的贡献和创新所在。
SVM的常用多分类算法概述SVM是一种经典的机器学习算法，常用于二分类问题。
然而，通过一些技巧和扩展，SVM也可以用于解决多分类问题。
本文将概述一些常用的SVM多分类算法。
1. One-vs-One (OvO) 方法：OvO 是一种常见的SVM多分类方法。
它的思想是，对于每对类别，训练一个二分类SVM模型。
然后，通过投票或者计算置信度来选择最终的分类结果。
这种方法的优点是分类器之间的训练数据更少，计算速度较快。
然而，对于有大量类别的问题，训练时间可能会很长。
2. One-vs-Rest (OvR) 方法：OvR 是另一种常见的SVM多分类方法。
它的思想是，对于每个类别，训练一个二分类SVM模型，该模型将该类别作为正例，将其他类别作为负例。
然后，通过比较这些二分类模型的置信度来选择最终的分类结果。
这种方法的优点是训练速度较快，特别适用于具有大量类别的问题。
然而，分类器之间的训练数据不平衡可能会导致结果不准确。
4. Directed Acyclic Graph (DAG) 方法：DAG 是一种基于有向无环图的SVM多分类方法。
它的思想是，将多类别问题转化为多个二分类子问题，并通过有向无环图连接这些子问题。
然后，通过在整个图上使用动态规划来选择最优路径，该路径对应于最终的分类结果。
这种方法的优点是可以处理复杂的类别关系和类别不平衡问题。
然而，构建和优化DAG可能比较困难。
5. Kernel Trick 方法：Kernel Trick 是一种将低维特征空间映射到高维特征空间的技术。
在多分类问题中，可以使用Kernel Trick来扩展SVM模型。
通过引入多个核函数或组合多个模型，可以构建更复杂的决策边界来处理多类别问题。
这种方法的优点是可以灵活地处理不同类型的数据和问题。
然而，选择合适的核函数和模型组合可能需要一定的经验和调试。
总之，SVM可以通过多种方法来解决多分类问题。
选择适当的方法取决于数据的特点和问题的复杂性。
13种ai智能算法以下是13种常见的AI智能算法：1.K-近邻算法（K-Nearest Neighbors，KNN）：根据周围K个最近邻的类别来预测未知数据的类别。
K值的选择和距离度量方式对结果影响较大。
2.决策树算法（Decision Trees）：通过将数据集划分为若干个子集，并根据每个子集的特征进行进一步的划分，从而构建一棵树状结构。
决策树的分支准则通常基于信息增益或信息熵等指标。
3.随机森林算法（Random Forests）：通过构建多个决策树，并对它们的预测结果进行投票来预测未知数据的类别。
随机森林算法能够提高预测的准确性和稳定性。
4.梯度提升树算法（Gradient Boosting Trees，GBRT）：通过迭代地添加新的决策树来优化损失函数，从而逐步提高预测的准确性。
梯度提升树算法通常能够处理非线性关系和解决过拟合问题。
5.支持向量机算法（Support Vector Machines，SVM）：通过将数据映射到高维空间中，并寻找一个超平面将不同类别的数据分隔开来。
SVM算法通常用于分类和回归任务。
6.线性回归算法（Linear Regression）：通过拟合一个线性模型来预测连续数值型数据的目标变量。
线性回归算法可以解决回归问题，即预测数值型目标变量。
7.逻辑回归算法（Logistic Regression）：通过拟合一个逻辑函数来预测离散二元型数据的目标变量。
逻辑回归算法可以解决分类问题，即预测离散二元型目标变量。
8.朴素贝叶斯算法（Naive Bayes）：基于贝叶斯定理和特征条件独立假设来预测未知数据的类别。
朴素贝叶斯算法通常用于文本分类和垃圾邮件过滤等任务。
9.集成学习算法（Ensemble Learning）：通过将多个学习模型（如决策树、SVM等）的预测结果进行集成，从而提高预测的准确性和稳定性。
常见的集成学习算法有Bagging和Boosting两种类型。
10.决策树桩算法（Decision Stump）：通过对每个特征进行一次划分来构建一个单层决策树，从而简化决策树的构建过程。
SVM的常用多分类算法概述摘要：SVM方法是建立在统计学习理论基础上的机器学习方法，具有相对优良的分类性能，是一种非线性分类器。
最初SVM是用以解决两类分类问题，不能直接用于多类分类，当前已经有许多算法将SVM推广到多类分类问题，其中最常用两类：OAA和OAO算法，本文主要介绍这两类常用的多分类算法。
关键词：SVM；多分类；最优化自从90年代初V. Vapnik提出经典的支持向量机理论（SVM），由于其完整的理论框架和在实际应用中取得的很多好的效果，在模式识别、函数逼近和概率密度估计领域受到了广泛的重视。
SVM方法是建立在统计学习理论基础上的机器学习方法，具有相对优良的分类性能。
SVM是一种非线性分类器。
它的基本思想是将输入空间中的样本通过某种非线性函数关系映射到一个特征空间中，使两类样本在此特征空间中线性可分，并寻找样本在此特征空间中的最优线性区分平面。
它的几个主要优点是可以解决小样本情况下的机器学习问题，提高泛化性能，解决高维问题、非线性问题，可以避免神经网络结构选择和局部极小点问题。
1. SVM方法若样本集Q={（x i，y i）|i=1,……,L}∈R d*{-1,+1}是线性可分的。
则存在分类超平面w T x+b=0,x∈R d对样本集Q中任一（x i，y i）都满足：在空间R d中样本x=（x1，…, x d）r到分类超平面的距离d=|w T*x+b|/||w||，其中||w||= .当存在x 使得w T x i+b=±1, 则图1中超平面的分类间隔margin = 2/ ‖w ‖。
使分类间隔margin 最大的超平面即为最优分类超平面。
寻找最优分类超平面的问题将转化为求如下一个二次规划问题:minΦ( w) =1/2‖w ‖满足约束条件：y i ( w T x i + b) ≥1 , i = 1 ,2 , ⋯, L采用Lagrange 乘子转换为一个对偶问题,形式如下:满足约束条件:0≤a i，i=1,……,L ）其中a i为每一个样本对应的Lagrange 乘子, 根据Kuhn2Tucker 条件,这个优化的解必须满足:a i (y i [w T x i +b]-1)=0,i=1,……,L因此多数样本对应 a i将为0 ,少部分不为0 的a i对应的样本就是支持向量。
svm参数范围支持向量机（Support Vector Machine，SVM）是一种在机器学习中常用的分类算法。
在使用SVM进行分类时，需要选择合适的参数。
本文将介绍SVM的参数范围，并解释其对分类结果的影响。
1. 核函数（Kernel Function）：SVM通过核函数将数据从原始空间映射到一个高维特征空间，从而更容易进行分类。
常用的核函数有线性核函数、多项式核函数和高斯核函数等。
线性核函数适用于线性可分的数据，多项式核函数可以处理非线性数据，而高斯核函数可以处理任意类型的数据。
选择合适的核函数是SVM分类的关键之一。
2. 惩罚参数C（Penalty Parameter C）：C控制着分类器对误分类样本的惩罚程度。
C越大，分类器对误分类样本的惩罚越重，容忍度越小，可能导致过拟合；C越小，分类器对误分类样本的惩罚越轻，容忍度越大，可能导致欠拟合。
因此，需要根据实际情况选择合适的C值，以达到较好的分类效果。
3. 松弛变量（Slack Variable）：松弛变量允许在分类边界上存在一定的错误。
通过引入松弛变量，可以处理线性不可分的数据。
松弛变量的数量通过参数ε进行控制，ε越大，容忍度越大，允许更多的误分类样本；ε越小，容忍度越小，要求更少的误分类样本。
选择合适的松弛变量参数ε可以平衡分类精度和容忍度。
4. 核函数参数：对于使用核函数的SVM，还需要选择相应的核函数参数。
例如，多项式核函数需要选择多项式的阶数和常数项，高斯核函数需要选择核函数的带宽。
选择合适的核函数参数可以更好地适应数据的特点，提高分类器的性能。
5. 类别权重参数（Class Weight）：在数据不平衡的情况下，某些类别样本的数量可能远远大于其他类别。
类别权重参数可以用来调整不同类别样本的重要性，从而更好地处理不平衡数据。
选择合适的类别权重参数可以提高对少数类别的分类准确率。
在选择SVM的参数时，可以通过网格搜索（Grid Search）等方法来寻找最优参数组合。
如何解决支持向量机中的维度灾难问题支持向量机（Support Vector Machine, SVM）是一种常用的机器学习算法，广泛应用于分类和回归问题中。
然而，当数据集的维度增加时，SVM面临着维度灾难问题，即在高维空间中计算变得困难，导致模型的性能下降。
本文将探讨如何解决SVM中的维度灾难问题。
一、特征选择维度灾难问题的一个主要原因是维度过高，而且很多特征可能是冗余的或者不相关的。
因此，通过特征选择可以减少数据集的维度，提高SVM的性能。
特征选择的方法有很多，常见的有过滤法、包装法和嵌入法。
过滤法通过统计学或信息论等方法评估特征的重要性，然后选择重要性较高的特征。
包装法则通过训练模型来评估特征的贡献度，然后选择贡献度较高的特征。
嵌入法则是在模型训练过程中自动选择特征。
二、降维技术另一种解决维度灾难问题的方法是降维技术。
降维可以将高维数据映射到低维空间，从而减少计算复杂度。
常见的降维技术有主成分分析（Principal Component Analysis, PCA）、线性判别分析（Linear Discriminant Analysis, LDA）和t-SNE等。
PCA通过线性变换将原始特征映射到新的特征空间，使得新特征之间的相关性最小。
LDA则是通过最大化类间距离和最小化类内距离来找到最佳的投影方向。
t-SNE则是一种非线性降维方法，它可以保持原始数据中的局部结构。
三、核技巧SVM在处理非线性问题时，通常使用核技巧（Kernel Trick）。
核技巧通过将原始特征映射到高维空间，从而使得原始非线性问题转化为线性可分问题。
常见的核函数有线性核、多项式核和径向基核（Radial Basis Function, RBF）等。
选择合适的核函数可以提高SVM的性能。
此外，还可以使用多核学习（Multiple Kernel Learning, MKL）来结合多个核函数，进一步提高模型的性能。
四、增量学习维度灾难问题还可以通过增量学习（Incremental Learning）来解决。
svm聚类原理
SVM（支持向量机）是一种常用的机器学习算法，主要用于分类问题。
虽然SVM本身并不是一种聚类算法，但可以通过一些技巧将其应用于聚类分析。
这种方法被称为基于SVM的聚类（SVM-based clustering）。
基于SVM的聚类方法基于以下原理：
1. 支持向量：SVM的核心思想是找到能够最好地将不同类别的样本分隔开的超平面。
在这个过程中，SVM识别出一些重要的样本，称为支持向量。
这些支持向量位于不同类别之间的边界上，它们的位置和数量对分类结果起着关键作用。
2. 核函数：SVM通过将数据映射到高维特征空间来处理非线性问题。
核函数是一种数学函数，它可以计算两个样本之间在高维特征空间中的相似度。
常用的核函数有线性核、多项式核和径向基函数（RBF）核等。
基于这些原理，可以将SVM应用于聚类分析的方法如下：
1. 数据转换：将原始数据转换为高维特征空间，可以使用线性或非线性的核函数进行转换。
2. 超平面划分：在高维特征空间中，通过SVM寻找一个超平面，将样本分隔开。
3. 支持向量聚类：基于找到的超平面和支持向量，将样本进行聚类。
根据样本与超平面的距离或相似度，可以将样本分配到不同的聚类簇中。
4. 聚类评估：根据聚类结果，可以使用一些评估指标（如轮廓系数、DB指数等）来评估聚类的质量。
需要注意的是，基于SVM的聚类方法在处理大规模数据时可能会面临计算复杂度高的问题。
此外，SVM本身更适合于二分类问题，而在多类别聚类中需要进行适当的修改和扩展。
因此，在选择聚类方法时，还需要考虑数据特征和问题的性质，以确定最合适的算法。
SVM Aggregation: SVM, SVM Ensemble, SVM Classification TreeBy Shaoning Pang1. IntroductionSupport Vector Machine (SVM), since first proposed by Vapnik and his group at AT\&T laboratory has been extensively studied and discussed to develop its working principle of classification and regression. As a result, different types of SVM and SVM extensions [1] have been proposed. Suykens introduced the quadratic cost function in SVM and proposed LSSVM (Least Squares Support Vector Machine). Mangasarian et al. used an implicit Lagrangian reformulation in SVM, and proposed LSVM (Lagrangian Support Vector Machine) and NSVM (Newton Support Vector Machine). Later, Lee and Mangasarian used a smooth unconstrained optimization in SVM, and had SSVM (Smooth Support Vector Machine). Recently, new interesting SVM models were published, such as, Chun-fu Lin's FSVM (Fuzzy Support Vector Machine). Zhang et al proposed HSSVMs (Hidden Space Support Vector Machines). Shilton et al. proposed an incremental version of SVM. All these SVM types have significantly enhanced the original SVM performance. Most importantly, they have applied the original SVM to suit different real application needs.SVM aggregation, as an alternative aspect of SVM study, specializes on combining a family of concurrent SVMs for advanced artificial intelligence. The well known SVM aggregation methods are the One-against-all and One-against-one methods. The purpose of such aggregations is to expand SVM binary classification to multi-class classification. A typical procedure of SVM aggregation can be summarized as three steps, SVM model selection, convex aggregation, and aggregation training.Over the last 5 years, I have been working on SVM aggregation, and have developed the original single SVM classification in our previous work, to SVM ensemble for classification, SVM classification tree (including 2-class SVM tree (2-SVMT), and Multi-class SVMT tree (m-SVMT)). Evolving SVM classification tree is an ongoing research topic of adapting SVMTto the incremental learning of data stream by evolving SVM and SVM tree structure.2. SVM EnsembleIn SVM ensemble, individual SVMs are aggregated to make a collective decision in several ways such as the majority voting, least-squares estimation-based weighting, and the double layer hierarchical combing. The training SVM ensemble can be conducted in the way of bagging or boosting. In bagging, each individual SVM is trained independently using the randomly chosen training samples via a boostrap technique. In boosting, each individual SVM is trained using the training samples chosen according to the sample’s probability distribution that is updated in proportion to the error in the sample. SVM ensemble is essentially a type of cross-validation optimization of single SVM, having a more stable classification performance than other models. The details on SVM ensemble construction and application are described in [2,3].3. 2-class SVM Tree (2-SVMT)The principle of SVMT is to encapsulate a number of binary SVMs into a multi-layer hierarchy by adapting a "divide and conquer" strategy. The benefits of SVMT model can be summarized as: (1) SVMT is capable of effectively reducing classification difficulties from class mixture and overlap through a supervised LLE data partitioning.(2) Importantly, SVMT outperforms single SVM and SVM ensemble on the robustness to class imbalance.A 2-class SVM tree can be modeled under the ‘depth first’ policy. The employed partitioning function for depth first is a binary data splitting whose targeting function is to partition all samples of class 1 into one cluster and all samples of class 2 into the other cluster. 2-SVMT of this type is particularly useful for the 2-class task with serious class overlap. Fig 1 shows an example of 2-class SVM binary tree over a face membership authentication [3,4] case with 30 of 271 persons as membership group.Fig. 1.Example of 2-class SVM binary treeAlternatively, a 2-class SVM tree also can be modeled under the ‘width first’ policy, where the employed partitioning function is a multiple data splitting, and the targeting function for partitioning here is to steer data samples in the same cluster with the same class label. A multiple data splitting is capable of controlling the size of the tree to a limited size, which is very optimal for decision making in such a tree structural model. Fig 3 gives an example of 2-class SVM multiple tree over the same case of face membership authentication as Fig. 2.Fig. 2.Example of 2-class SVM multiple tree.3. multi-class SVM Tree (m -SVMT)The above SVMTs are merely two-class SVM classification tree (2-SVMT) model, which are not sustainable for normal multi-class classification tasks. However in real application, class imbalance of multi-class problem is also a critical challenge for most classifiers, thus it is desirable to develop a multi-class SVM tree with the above properties of 2-SVMT.Fig. 3.Example m-SVMT over a 3 class taskThe construction of m-SVMT [9] is to decompose an m -class task into a certain number of 1-m classes regional tasks, under the criterion of minimizing SVM tree loss function. The proposed m-SVMT is demonstrated very competitive in discriminability as compared to other typical classifiers such as single SVMs, C4.5, K-NN, and MLP neural network, and particularly has a superior robustness to class imbalance, which other classifiers can not match. Fig.3 gives an example of m-SVMT for a 3-class task.4. Evolving SVMT, an ongoing research topicLearning over datasets in real-world application, we often confront difficult situations where a complete set of training samples is not given in advance. Actually in most of cases, data is being presented as a data stream where we can not know what kind of data, even what class of data, is coming in the future. Obviously, one-pass incremental learning gives a method to deal with such data streams [8,9].For the needs of incremental learning over data stream, I am working to realize a concept of evolving SVM classification tree (eSVMT) for the classification of streaming data, where chunks of data is being presented at different time. The constructed eSVMT is supposed to be capable of accommodating new data by adjusting SVM classification tree as in the simulation shown in Fig. 4.Fig.4. A simulation of evolving SVM classification treeT=1 T=2 T=3T=4T=5The difficulty for eSVMT modelling is, (1) eSVMT needs to acquire knowledge with a single presentation of training data, and retaining the knowledge acquired in the past without keeping a large number of training samples in memory. (2) eSVMT needs to accommodate new data continuously, while always keeping a good size of SVM tree structure, and a good classification in real time.Acknowledgement:The research reported in the article was partially funded by the ministry of Education, South Korea under the program of BK21, and the New Zealand Foundation for Research, Science and Technology under the grant: NERF/AUTX02-01. Also the author would like to present the thanks to Prof. Nik Kasabov of Auckland University of Technology, Prof. S. Y.Bang, and Prof. Dajin Kim of Pohang University of Science and Technology, for their support and supervision during 2001 to 2005, when most of the reported research in this article was carried out.References:1.;; /dmi/2.Hyun-Chul Kim, Shaoning Pang, Hong-Mo Je, Daijin Kim, Sung Yang Bang: Constructing support vector machine ensemble. Pattern Recognition vol. 36, no. 12, pp. 2757-2767, 20033.Shaoning Pang, D. Kim, S. Y. Bang, Membership authentication in the dynamic group by face classification using SVM ensemble. Pattern Recognition Letters, vol. 24, no. (1-3), pp. 215-225, 2003.4.Shaoning Pang, D. Kim, S. Y. Bang, Face Membership Authentication Using SVM Classification Tree Generated by Membership-based LLE Data Partition, IEEE Trans. on Neural Network, vol. 16 no. 2, pp. 436-446, 2005.5.Shaoning Pang, Constructing SVM Multiple Tree for Face Membership Authentication. ICBA 2004, Lecture Notes in Computer Science 3072, pp. 37-43, Springer 2004.6.Shaoning Pang, Seiichi Ozawa, Nikola Kasabov, One-pass Incremental Membership Authentication by Face Classification. ICBA 2004, Lecture Notes in Computer Science 3072, pp. 155-161, Springer 2004.7.Shaoning Pang, and Nikola Kasabov, Multi-Class SVM Classification Tree, (submitted), 2005.8. Shaoning Pang, Seiichi Ozawa and Nik Kasabov, Incremental Linear Discriminant Analysis for Classification of Data Streams ,IEEE Trans. on System, Man, and Cybernetics-Part B, vol. 35, no. 5, pp. 905 – 914, 20059.Seiichi Ozawa, Soon Toh, Shigeo Abe, Shaoning Pang and Nikola Kasabov, Incremental Learning for Online Face Recognition, Neural Network, vol.18, no. (5-6), pp. 575-584, 2005.Dr. Shaoning PANGKnowledge Engineering & Discovery Research Institute Auckland University of Technology, New Zealand Email: spang@。
