下载文档原格式
软测量建模综述摘要：软测量技术已经成为工业生产中实现监测、控制不可缺少的步骤。
本综述介绍软测量的定义以及几种软测量建模方法。
着重介绍两类目前成为研究热点的基于数据的软测量建模——基于人工神经网络和支持向量机的软测量建模，介绍各自的原理、分类，并对它们的优缺点进行分析，通过引用文献的方式介绍几种改进方法。
关键词：软测量，建模，神经网络，支持向量机引言在过程控制中，若要使生产装置处于最佳运行工况、实现卡边控制、多产高价值产品，从而提高装置的经济效益，就必须要对产品质量或与产品质量密切相关的重要过程变量进行严格控制[1]。
由于工业生产中装置是不断运行的，生产产品的浓度、质量等指标是动态变化的，利用一些在线传感器，不仅成本较高，并且由于一定的滞后性，导致最后不能精确监测生产过程中的一些指标，难以满足生产需求。
除此之外，许多复杂的化工过程中往往不能使用传感器来对某一变量进行直接测量。
例如化工生产过程中，精馏塔产品组成成分，塔板效率，干点、闪点等；一些反应器中不断变化的产品浓度，转化率以及催化剂活性等等[1]。
这就使得软测量技术被提出并不断发展起来。
1 软测量所谓软测量技术，就是将不可测变量（称为主导变量）进行间接测量，通过建立与之相关系的其他变量（辅助变量）之间的数学关系模型，进行在线的估计。
这类方法响应迅速，实时性好，可靠性高。
它可以很好的解决变量不可测量的问题，也为对生产过程的监测控制节省了大量成本。
软测量的应用范围很广，它最原始和最主要的应用都是有关对过程变量的预测，而这些变量可以通过低频率采样或者离线分析确定。
同时，这些变量经常涉及到过程输出的品质，对于过程的分析和控制显得尤为重要。
由于这些原因，如何在高采样频率或者低成本的情况下利用适当的软测量建模方法来获得过程变量的信息是非常重要的。
目前软测量建模也发展出多种方法，各自都有其优缺点，选择适当的软测量建模方法，对工业生产具有很大意义。
1.2 软测量建模方法现在一般的软测量建模方法可以分为大的三类，即：机理建模，基于数据的软测量建模和混合建模。
基于SVM和BP神经网络的预测模型随着社会的不断发展和技术的日益进步，各种预测模型的应用越来越广泛。
其中，基于支持向量机（SVM）和反向传播神经网络（BP神经网络）的预测模型备受关注。
它们不仅可以对数据进行分类和回归预测，还可以在信号、音频、图像等领域中得到广泛应用。
本文将介绍SVM和BP神经网络的基本原理及其在预测模型中的应用。
一、支持向量机（SVM）的基本原理支持向量机是一种基于统计学习理论的分类和回归分析方法。
它的基本原理是通过将原始样本空间映射到高维空间，将不可分的样本转化为可分的线性空间，从而实现分类或者回归分析。
SVM的关键是选择合适的核函数，可以将样本映射到任意高维空间，并通过最大化间隔来实现对样本的分类。
在SVM的分类中，最大间隔分类被称为硬间隔分类，是通过选择支持向量（即距离分类界线最近的样本）来实现的。
而在实际中，可能存在一些噪声和难以分类的样本，这时采用软间隔分类可以更好地适应于数据。
软间隔SVM将目标函数添加一个松弛变量，通过限制松弛变量和间隔来平衡分类精度和泛化能力。
二、反向传播神经网络（BP神经网络）的基本原理BP神经网络是一种典型的前馈型神经网络，具有非线性映射和逼近能力。
它可以用于分类、回归、时间序列预测、模式识别等问题，被广泛应用于各个领域。
BP神经网络由输入层、隐含层和输出层组成，其中隐含层是核心层，通过数学函数对其输入进行加工和处理，将处理的结果传递到输出层。
BP神经网络的训练过程就是通过调整网络的权值和阈值来减小训练误差的过程。
BP神经网络的训练过程可以分为前向传播和反向传播两部分。
前向传播是通过给定的输入，将输入信号经过网络传递到输出层，并计算输出误差。
反向传播是通过计算误差梯度，将误差传递回隐含层和输入层，并调整网络的权值和阈值。
三、SVM与BP神经网络在预测模型中的应用SVM和BP神经网络的预测模型在实际中广泛应用于各个领域，如无线通信、金融、物流、医疗等。
支持向量机与神经网络算法的对比分析1. 引言1.1 支持向量机与神经网络算法的对比分析支持向量机和神经网络是机器学习领域中两种常见的分类算法。
支持向量机（Support Vector Machine）是一种监督学习算法，其基本原理是找到一个最优的超平面来将不同类别的数据分隔开。
而神经网络（Neural Network）则是模仿人类神经系统构建的一种算法，通过多层神经元之间的连接来实现学习和分类。
在实际应用中，支持向量机通常表现出较好的泛化能力和高效性能。
它能够处理高维数据及非线性数据，并且在处理小样本数据上表现良好。
然而，神经网络在大规模数据集和复杂问题上具有更好的表现，能够学习复杂的模式和特征。
在优缺点对比方面，支持向量机在处理小数据集上表现较好，但对于大数据集可能会面临内存和计算资源消耗问题；而神经网络在大数据集上有优势，但对于小数据集可能会过拟合。
在应用领域上，支持向量机多用于文本分类、图像识别等领域；而神经网络则广泛应用于语音识别、自然语言处理等领域。
综上所述，支持向量机和神经网络在不同领域和问题上有各自的优势和劣势，需要根据具体情况选择合适的算法来解决问题。
在实际应用中，可以根据数据规模、问题复杂度等因素来进行选择，以达到更好的分类和预测效果。
2. 正文2.1 支持向量机算法原理支持向量机（Support Vector Machine，SVM）是一种常用的监督学习算法，主要用于分类和回归问题。
其基本原理是通过找到一个最优的超平面来对数据进行分类。
支持向量机的核心概念是最大化间隔，即在数据中找到最优的超平面，使得不同类别的样本离该超平面的距离最大化。
这个超平面可以用以下公式表示：w^T*x + b = 0，其中w是法向量，b是偏置。
SVM的目标是找到使得间隔最大化的超平面参数w和b。
支持向量机可以处理非线性问题，引入了核函数的概念。
通过将数据映射到高维空间，可以在新的空间中找到一个线性超平面来解决原始空间中的非线性问题。
一、实验目的本次实验旨在通过监督分析方法，对一组已知标签的数据集进行分类，验证监督学习算法在实际问题中的应用效果，并对比不同算法的性能差异。
二、实验背景监督学习是机器学习中的一种重要方法，通过训练数据集学习得到一个模型，用于对未知数据进行分类或预测。
常见的监督学习方法包括决策树、支持向量机、神经网络等。
本实验选取了三种算法进行对比分析，分别为决策树、支持向量机和神经网络。
三、实验数据实验数据集选用UCI机器学习库中的鸢尾花（Iris）数据集，该数据集包含150个样本，每个样本有4个特征，分别为花萼长度、花萼宽度、花瓣长度和花瓣宽度，以及对应的3个类别标签。
四、实验方法1. 数据预处理（1）数据标准化：将特征值缩放到[0,1]区间内，便于模型计算。
（2）数据划分：将数据集划分为训练集和测试集，其中训练集占80%，测试集占20%。
2. 算法实现（1）决策树：采用Python中的sklearn库实现决策树分类器。
（2）支持向量机：采用Python中的sklearn库实现支持向量机分类器。
（3）神经网络：采用Python中的TensorFlow库实现神经网络分类器。
3. 性能评估采用准确率、召回率、F1值和ROC曲线等指标评估模型性能。
五、实验结果与分析1. 决策树（1）准确率：0.97（2）召回率：0.97（3）F1值：0.97（4）ROC曲线：曲线下面积（AUC）为0.99决策树分类器在本次实验中表现出较好的性能，准确率、召回率和F1值均较高，ROC曲线下面积也较大。
2. 支持向量机（1）准确率：0.95（2）召回率：0.95（3）F1值：0.95（4）ROC曲线：曲线下面积（AUC）为0.98支持向量机分类器在本次实验中表现良好，准确率、召回率和F1值均较高，ROC曲线下面积较大。
3. 神经网络（1）准确率：0.96（2）召回率：0.96（3）F1值：0.96（4）ROC曲线：曲线下面积（AUC）为0.99神经网络分类器在本次实验中表现出较好的性能，准确率、召回率和F1值均较高，ROC曲线下面积较大。
支持向量机与神经网络集成方法研究近年来，机器学习和人工智能技术的快速发展已经深刻地改变了我们的生活和工作方式。
在众多的机器学习算法中，支持向量机（Support Vector Machine，SVM）和神经网络（Neural Network）被广泛应用于各个领域。
然而，这两种算法各自存在一些局限性，因此研究人员开始探索将它们结合起来的方法，以期能够发挥它们各自的优势，提升模型的性能。
支持向量机是一种基于统计学习理论的监督学习算法，其主要思想是通过找到一个最优的超平面来划分不同类别的样本。
它的优点是能够处理高维数据和非线性问题，并且对于训练样本的数量没有过多的要求。
然而，支持向量机的训练时间较长，且对于噪声敏感。
神经网络是一种模拟人脑神经元网络的计算模型，它能够通过训练自动学习特征，并且具有很强的非线性建模能力。
神经网络的优点是能够处理大规模的数据集，并且对于噪声具有一定的鲁棒性。
然而，神经网络的训练过程较为复杂，且容易出现过拟合的问题。
为了克服支持向量机和神经网络各自的局限性，研究人员提出了多种集成方法。
其中一种常见的方法是将支持向量机和神经网络进行堆叠集成。
具体而言，首先使用支持向量机对数据进行预处理和特征选择，然后将预处理后的数据输入到神经网络中进行训练和预测。
这种方法能够充分利用支持向量机的特征选择能力和神经网络的非线性建模能力，提高模型的性能。
另一种集成方法是将支持向量机和神经网络进行串行集成。
具体而言，首先使用支持向量机对数据进行分类，然后将分类结果作为神经网络的输入，继续进行训练和预测。
这种方法能够利用支持向量机的分类能力和神经网络的自适应学习能力，提高模型的鲁棒性和泛化能力。
除了堆叠集成和串行集成，还有一种常见的集成方法是将支持向量机和神经网络进行并行集成。
具体而言，将支持向量机和神经网络分别训练，然后将它们的预测结果进行加权融合。
这种方法能够充分利用支持向量机和神经网络各自的优势，提高模型的准确性和稳定性。
支持向量机与神经网络算法的对比分析支持向量机（Support Vector Machine，SVM）和神经网络（Neural Network，NN）是两种常用的机器学习算法，它们在解决分类和回归问题上都具有较强的应用能力。
本文将从原理、优缺点、适用场景和实际应用等方面进行对比分析，以帮助读者更好地理解和选择适合自己需求的算法。
一、原理对比1、支持向量机（SVM）原理支持向量机是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。
简单来说，SVM的目标是找到一个最佳的超平面，将不同类别的样本分开，并且使得两个类别之间的间隔最大化。
当数据线性不可分时，可以通过核函数方法将数据映射到高维空间，实现非线性分类。
2、神经网络原理神经网络是一种模仿人脑神经元网络结构设计的一种算法。
它由输入层、隐层和输出层构成，每一层中包含多个神经元单元。
神经网络通过不断调整连接权值和偏置，学习输入数据的特征，并将学到的知识用于分类和预测。
二、优缺点对比优点：SVM可以有效处理高维数据，且对于小样本数量的数据依然表现稳定，泛化能力强。
通过核函数可以处理非线性分类问题，具有较好的灵活性和泛化能力。
缺点：在大规模数据集上训练的速度较慢，需要耗费大量的计算资源。
对参数的选择和核函数的调整较为敏感，需要谨慎选择。
优点：神经网络可以通过不断迭代学习特征，适用于复杂的非线性问题。
对于大规模数据集和高维数据具有较好的处理能力。
缺点：神经网络结构较为复杂，需要大量的训练数据和时间。
神经网络的训练需要大量的计算资源，对参数的选择和网络结构的设计要求较高。
三、适用场景对比SVM适用于小样本、高维度的数据集，特别擅长处理二分类问题。
在文本分类、图像识别、生物信息学等领域有着广泛的应用。
神经网络适用于大规模数据集和复杂的非线性问题。
在语音识别、自然语言处理、图像识别等领域有着广泛的应用。
四、实际应用对比在文本分类领域，SVM常被用于垃圾邮件过滤、情感分析等任务中。
基于多组群教学优化的随机森林预测模型及应用李月玉;崔东文;高增稳【摘要】为有效提高水文预测预报精度,提出了一种基于多组群教学优化(MGTLO)的随机森林(RF)预测方法,利用MGTLO算法对RF两个关键参数进行优化,构建MGTLO-RF预测模型,并与基于MGTLO算法优化的支持向量机(SVM)、BP神经网络两种常规预测模型作对比分析.以云南省龙潭站月径流和年径流预测为例进行实例研究,利用前44 a和后10 a资料对MGTLO-RF等3种模型进行训练和预测.结果表明:所提出的MGTLO-RF模型具有更好的预测精度和泛化能力,可作为水文预测预报和相关预测研究的一种有效工具.【期刊名称】《人民长江》【年(卷),期】2019(050)007【总页数】5页(P83-86,91)【关键词】径流预测;多组群教学优化算法;随机森林;参数优化【作者】李月玉;崔东文;高增稳【作者单位】昆明理工大学城市学院,云南昆明650021;云南省文山州水务局,云南文山663099;昆明理工大学城市学院,云南昆明650021【正文语种】中文【中图分类】P331 研究背景提高径流预测精度一直是水文预测预报中的热点和难点。
由于受自然条件、人类活动等众多确定性因素和随机因素的影响，径流的形成和变化过程非常复杂，致使常规的回归分析、数理统计等方法用于径流预测预报难以达到理想的应用效果。
近年来，一些非常规方法被尝试用于径流预测预报，并获得较好的预测效果，如BP、GRNN、RBF神经网络法[1-3]、支持向量机法[4-5]、集对分析法[6-7]、投影寻踪回归法[8]、小波分解混合法[9-10]、组合预测法[11]。
随机森林(random forest，RF)是由Leo Breiman提出的一种集成机器学习方法，可应用于分类问题、回归问题以及特征选择问题，主要利用Bootstrap重抽样方法从原始样本中抽取多个样本，对每个Bootstrap样本进行决策树建模，然后组合多棵决策树通过投票方式得出最终评价结果[12]，可有效避免“过拟合”和“欠拟合”现象的发生，对解决多变量预测具有很好的效果，被誉为当前最好的机器学习算法之一[13-14]，已在各领域及径流预测[15]中得到应用。
支持向量机与神经网络的比较与优劣分析在机器学习领域，支持向量机（Support Vector Machine，SVM）和神经网络（Neural Network）是两种常见且广泛应用的算法。
它们都有着自己独特的特点和优势，但也存在一些局限性。
本文将对这两种算法进行比较与优劣分析。
一、支持向量机支持向量机是一种监督学习算法，主要用于分类和回归问题。
其核心思想是找到一个最优的超平面，将不同类别的样本分开。
SVM通过构建一个决策边界，使得不同类别的样本与该边界的距离最大化，从而实现分类。
SVM的优势在于：1. 可以处理高维数据集：SVM通过将数据映射到高维空间，将非线性问题转化为线性问题，从而提高了分类的准确性。
2. 泛化能力强：SVM通过最大化边界来选择最优的超平面，使得对未知数据的分类效果更好，具有较强的泛化能力。
3. 可以处理小样本问题：SVM的决策边界只与支持向量相关，而不依赖于整个数据集，因此对于小样本问题，SVM表现出较好的性能。
然而，SVM也存在一些不足之处：1. 计算复杂度高：SVM的训练时间复杂度为O(n^2)，当数据量较大时，计算时间会显著增加。
2. 对参数和核函数选择敏感：SVM的性能很大程度上取决于参数和核函数的选择，需要进行大量的调参工作。
3. 不适用于大规模数据集：由于计算复杂度高，SVM在处理大规模数据集时效率较低。
二、神经网络神经网络是一种模仿生物神经系统的计算模型，由多个神经元（节点）组成的网络。
神经网络通过学习输入数据的特征和模式，进行分类和预测。
神经网络的优势在于：1. 可以处理非线性问题：神经网络通过多层隐藏层的组合，可以学习到复杂的非线性关系，适用于处理非线性问题。
2. 自适应性强：神经网络可以通过反向传播算法不断调整权重和偏置，从而提高模型的准确性和泛化能力。
3. 并行计算能力强：神经网络的计算过程可以并行处理，适用于大规模并行计算的场景。
然而，神经网络也存在一些不足之处：1. 容易过拟合：神经网络的参数较多，模型复杂度较高，容易在训练集上过拟合，对未知数据的泛化能力较差。
支持向量机与神经网络算法的对比分析支持向量机（Support Vector Machine，SVM）和神经网络（Neural Network）是机器学习领域广泛应用的两种算法。
本文将对这两种算法进行对比分析，包括原理、优缺点和应用领域等方面。
一、原理对比1. 支持向量机支持向量机是一种二分类模型，其基本思想是找到一个能够将不同类别的样本分隔开的超平面。
超平面的选择是通过找到能够最大化分类间隔的最优超平面实现的。
支持向量机还引入了核函数的概念，可以将样本映射到更高维度的空间中进行非线性分类。
2. 神经网络神经网络是一种模仿生物神经系统功能的计算模型。
它由大量的神经元相互连接而成，通过学习调整神经元之间的权重，实现模型的训练和预测。
神经网络可以包含多个隐藏层，每层都有多个节点，节点之间通过激活函数传递信息。
二、优缺点对比1. 支持向量机优点：（1）具有较强的泛化能力，能够有效处理高维数据和非线性问题；（2）对于小样本数据集效果好，能够处理样本维度大于样本数量的情况；（3）通过核函数的引入可以处理非线性分类问题；（4）具有较好的鲁棒性，对于噪声和异常点有较好的容错能力。
缺点：（1）对大规模数据集需要较长的训练时间，不适合处理大规模数据；（2）对于包含大量噪声的数据集，容易过拟合。
2. 神经网络优点：（1）对于大规模数据集和复杂问题的处理能力较强；（2）可以通过网络结构的调整和权重的学习进行非线性建模；（3）能够处理包含噪声和异常点的数据集。
缺点：（1）网络结构和参数的选择较为复杂，需要大量的调试和优化工作；（2）对于小样本数据和高维数据的处理效果不佳，容易出现过拟合问题；（3）训练时间通常较长，计算资源需求高。
三、应用领域对比1. 支持向量机支持向量机在许多领域都有广泛的应用，如图像识别、文本分类、生物信息学等。
由于其能够处理高维和非线性问题的能力，使得其在这些领域中具有一定的优势。
2. 神经网络神经网络在语音识别、图像处理、自然语言处理等领域都有重要应用。
支持向量机与神经网络算法的对比分析支持向量机（Support Vector Machine，SVM）和神经网络（Neural Network，NN）是两种常用的分类算法，分别属于非线性分类和深度学习领域。
下面我们将从不同的角度对两种算法进行比较和分析。
1. 原理和结构：支持向量机是一种基于统计学习理论的非线性分类方法。
其主要思想是通过构建一个超平面，使得不同类别的样本能够得到最大的间隔。
支持向量机通常基于核函数来映射输入样本到高维空间，在高维空间中进行线性分类。
神经网络是一种模拟人脑神经元工作原理的算法。
其主要结构是由神经元组成的多层网络，每个神经元通过非线性激活函数对输入进行加权处理并传递给下一层神经元。
神经网络通过训练算法来调整权重，以得到最优的分类结果。
2. 训练速度：支持向量机通常在小样本数据集上表现良好，但在大规模数据集上训练速度较慢。
这是因为支持向量机的训练复杂度与样本数目无关，而与支持向量的数目有关。
神经网络在大规模数据集上具有较高的训练速度，并且可以使用并行计算加速训练过程。
3. 鲁棒性和泛化能力：支持向量机在处理高维数据和少量样本时表现较好，具有较好的鲁棒性。
它可以有效避免过拟合问题，具有较好的泛化能力。
神经网络在处理大规模数据集和复杂模式识别任务时表现较好，但容易过拟合。
在训练过程中需要进行适当的正则化和调参，以提高其泛化能力。
4. 可解释性：支持向量机在较小规模的数据集上的分类结果较容易解释和理解，通过支持向量可以了解到分类的决策边界。
神经网络由于其复杂的结构和参数，分类结果往往较难进行解释和理解。
5. 参数调整：支持向量机的参数主要有正则化参数和核函数的选择。
根据数据特点和分类任务，可以通过交叉验证方法进行调参。
神经网络的参数主要包括网络层数、每层神经元数目和激活函数的选择等。
参数调整通常需要经验和专业知识的指导。
支持向量机适用于小规模数据集和高维数据的分类问题，具有较好的鲁棒性和泛化能力。
基于数据数量对支持向量机和BP神经网络性能分析摘要本文在阐述创新型预测模型理论的基础上，分别利用基于BP神经网络和支持向量机的玉米开盘预测模型，在样本大小不同情况下对玉米开盘价格指数进行了研究和预测。
研究结果表明，基于支持向量机的预测模型在预测精度、运算时间、最优性等方面均优于基于BP神经网络的预测模型。
近年来，以GARCH类模型、SV类模型等为代表的预测模型在资产价格预测方面获得了广泛的应用，但是这些模型在研究中往往受到样本数据分布、样本容量等方面的限制。
因此，包括以神经网络、支持向量机等智能算法为基础的创新型预测模型，在金融资产价格预测方面得到了广泛的应用。
本文在阐述创新型预测模型理论的基础上，分别利用基于神经网络、支持向量机的预测模型，在不同样本大小的基础上，就玉米开盘价格分别用支持向量机和单隐层和双隐层的BP神经网络做预测，比较预测结果，对比分析支持向量机和BP神经网络在样本大小不同的情况下两者的性能分析。
关键词：支持向量回归BP神经网络libsvm工具箱一、模型介绍1、模型介绍1.1支持向量机回归1.1.1支持向量机回归模型的介绍在机器学习中，支持向量机（SVM，还支持矢量网络）是与相关的学习算法有关的监督学习模型，可以分析数据，识别模式，用于分类和回归分析。
给定一组训练样本，每个标记为属于两类，一个SVM 训练算法建立了一个模型，分配新的实例为一类或其他类，使其成为非概率二元线性分类。
一个SVM 模型的例子，如在空间中的点，映射，使得所述不同的类别的例子是由一个明显的差距是尽可能宽划分的表示。
新的实施例则映射到相同的空间中，并预测基于它们落在所述间隙侧上属于一个类别。
除了进行线性分类，支持向量机可以使用所谓的核技巧，它们的输入隐含映射成高维特征空间中有效地进行非线性分类。
1.1.2支持向量回归求解过程图1.1.3核函数的介绍利用支持向量机解决回归问题时，需要根据求解问题的特性，通过使用恰当的核函数来代替内积。
这个核函数不仅要在理论上要满足Mercer 条件，而且在实际应用中要能够反映训练样本数据的分布特性。
因此，在使用支持向量机解决某一特定的回归问题时，选择适当的核函数是一个关键因素。
在实际的应用中，最常用的核函数有4种：线性核、多项式核、径向基（简称RBF）核、多层感知机核等。
函数关系表达式分别如下：（1）线性核函数)(),(x x x x K i i ⋅=（2）多项式核函数[]+∈⋅=Z q x x x x K qi i ,)(),(γ（3）RBF 核函数⎪⎪⎭⎫ ⎝⎛--=2exp ),(σx x x x K i i 式中σ为核参数，它隐式地定义了从原始空间到高维特征空间中的非线性映射。
RBF 核函数与传统RBF 方法的重要区别是，这里每个基函数中心对应一个支持向量，它们及输出权值都是由算法自动确定的。
（4）sigmoid 核函数))(tanh(),(c x x v x x K i i +⋅=式中v、c 为常数。
这时SVM 实现的就是包含一个隐层的多层感知器，隐层节点数是由算法自动确定的，而且算法不存在困扰神经网络方法的局部极小点问题。
[2]1.1.4各参数介绍及影响（1）核参数：在本题中用g 表示，g 能决定从低维空间到高维空间的映射状态要，首先选择合适的核函数将数据投影到合适的特征空间，得到推广能力良好的SVR 模型。
（2）误差惩罚参数c：它能够实现在回归精度和模型复杂度之间的折衷，即在确定的特征子空间中调节学习机器置信范围和经验风险的比例以使得到的回归函数的推广能力最好（3）精度参数ε：采用ε-不敏感函数，具有一定的抗干扰能力，能够提高估计的鲁棒性。
1.1.5寻找最优参数函数寻优方法和思想由于本组安装matlab libsvm 工具箱内置自带K 折交叉检验法寻优函数大家只需了解交叉检验法大致思想如下：在机器学习、数据挖掘和模式识别等领域，需要训练大量的数据来得到一个准确的模型，当数据的数量有限时，就会出现不同的问题。
为了解决这些问题，交叉验证的方法就出现了。
Holdout 当数据有限时，需要将原始数据分为两份，一份用来training 一份用来testing（比例一般是2/3和1/3），或者分为三份，还有一份用来validation。
以上过程就叫做HoldoutStratified holdout(or Stratification)为了确保分割后用于training 和testing 的数据都具有代表性，需要通过随机取样的过程来确保这一点，这就是stratification。
其达到的效果是让在每一个分割中，每个类所占的比例和总体数据中每个类所占的比例相同。
Repeated holdout重复的进行随机取样，计算每一次的error rate，然后对其取平均。
threefold cross-validation将数据分为三份，每一次都去其中一份用于testing，其余部分用于training，直到遍历完每一个fold，即每一个instance都至少用于一次testing，后面还有stratified threefold cross-validation。
Stratified tenfold cross-validation在实际的应用中，这是标准的数据处理方法，具体含义和上一个类似，在实际的应用中，往往需要重复10遍十折交叉验证，也即往往需要做100次。
具体matlab程序详见附件附录和附件（附录一最优c和g选择，核函数选择/附件：程序/最优c和g求抽样样本model选取核函数比较误差）。
1.1.6支持向量回归核函数选择本文为了公平起见用sigmoid核函数因为BP神经网络默认的函数也为sigmoid函数，保证不受其他因素影响，尽可能使结果正确有意义。
1.1.7程序求解解法一；将如上二次规划函数利用matlab进行求解解法二：利用libsvm内置函数svmtrian函数求解(本文用libsvm工具箱）1.2BP神经网络1.2.1BP神经网络介绍在BP神经网络中，单个样本有个输入，有个输出，在输入层和输出层之间通常还有若干个隐含层。
实际上，1989年Robert Hecht-Nielsen证明了对于任何闭区间内的一个连续函数都可以用一个隐含层的BP网络来逼近，这就是万能逼近定理。
所以一个三层的BP网络就可以完成任意的维到维的映射。
即这三层分别是输入层（I），隐含层（H），输出层（O）。
如下图示1.2.2隐含层的选取在BP 神经网络中，输入层和输出层的节点个数都是确定的，而隐含层节点个数不确定，那么应该设置为多少才合适呢？实际上，隐含层节点个数的多少对神经网络的性能是有影响的，有一个经验公式可以确定隐含层节点数目，如下其中为隐含层节点数目，为输入层节点数目，为输出层节点数目，为之间的调节常数。
1.2.3BP 算法BP 算法即误差反向传播（Back Propagation）算法，其主要思想是是把学习过程分为两个阶段：第一阶段（正向传播过程），给出输入信息通过输入层经隐含层处理并计算每个单元的实际输出值；第二阶段（反向过程），若在输出层未能得到期望的输出值，则逐层递归地计算实际输出与期望输出之差值（即误差），以便根据此差值调节权值。
BP 算法的基本步骤如下：1)设置初始权值W(0)为较小的随机非零值。
2)给定输入/输出样本集合{,}p p p u d ,误差指标21()2p ip ip iE d y =-∑总误差指标1Pall p p E E ==∑重复下列过程直至满足收敛条件（allE ε≤）a)对于任意一个样本p，计算正向过程1,,,,,l l p p p pu O x y -反向过程()()()'11'1,1,1l L ip ip ip ip l l l l ip mp mi ip m p l l ip jp l ijd y f x w f x l L E O l L w δδδδ++-⎧⎪=--∙⎪⎪⎛⎫⎪=∙∙<<⎨ ⎪⎝⎭⎪⎪∂⎪=∙<≤∂⎪⎩∑b)修正权值()()1,0llij ij l ij E w t w t w ηη∂+=->∂包括两种学习方式：模式（Pattern）学习方式：()()1,0pl l ij ij l ij E w t w t w ηη∂+=->∂1.2.4本文运用的BP 神经网络结构二、不同样本数量性能对比本文通过前一天的玉米期货属性因素：指数最高值、指数最低值、收盘指数、当日交易量和当日交易额五个因素运用支持向量机和单隐含层的BP 神经网络以及双隐含层的BP 神经网络寻找响应关系预测第二天的开盘金额指数。
分别用五组不同数量的样本数据，分析样本数据多少对模型性能的影响，决定性能的指标有：目标值目标值）（预测值/-相对对误=样本数目标值））（预测值（平均误差样本数/-abs 1∑=样本数））目标值目标值）（预测值（（准确率样本数/100%*-abs -11∑=平均误差为15.4786，准确率为0.9886平均误差为23.0628，准确率为0.9835平均误差为20.1082，准确率为0.9853平均误差为10.4371，准确率为0.9925平均误差为12.3201，准确率为0.9910平均误差为11.5022，准确率为0.99162.1.3500组样本对比：平均误差为8.5662，准确率为0.9943平均误差为10.4371，准确率为0.9925平均误差为19.3519，准确率为0.99372.1.41000组样本对比：平均误差为7.9745，准确率为0.9950平均误差为8.6907，准确率为0.9945平均误差为8.7245，准确率为0.99452.1.52427组样本对比：平均误差为6.6678，准确率为0.9964平均误差为7.0711，准确率为0.9962平均误差为6.9456，准确率为0.99632.1.6列表归纳分析：2.1.7结论100组200组数据时支持向量机明显优于BP神经网络然而双隐含层优于单隐含层BP，500组和1000组和以上两组相似但不同的是单隐层BP和双隐层BP性能逐渐逼近，2427组三者性能逐渐逼近。
三、对比模型评价分析以及结论神经网络是基于传统统计学的基础上的。
传统统计学研究的内容是样本无穷大时的渐进理论，即当样本数据趋于无穷多时的统计性质，而实际问题中样本数据往往是有限的。
因此，假设样本数据无穷多，并以此推导出的各种算法很难在样本数据有限时取得理想的应用效果。
支持向量机则是基于统计学理论的基础上的，可以克服神经网络难以避免的问题。
通过支持向量机在逼近能力方面与BP网络仿真结果的比较表明，支持向量机具有较强的逼近能力和泛化能力。
