函数学习的小波再生核支持向量回归模型

再生核定义：H是一个定义在一抽象集合B的实值或复值的Hilbert函数空间，对任意f(x)属于H，x属于B，若存在二元函数K(x,y)，满足：(1)对任意固定y属于B，K(x,y)作为x的函数属于H；(2)对任意f(x)属于H，有f(y)=(f(x),K(x,y))H(H为下标)。

则称K(x,y)为H的再生核，H是以K(x,y)为再生核的Hilbert空间，简称再生核Hilbert空间，简记为RKHS(Reproducing Kernel Hilbert Space)。

通常称(2)为再生性质。

性质：(1)唯一性：如果Hilbert空间有再生核K(x，y)，则再生核唯一(如果内积不同，也可能有不同的再生核)；(2)存在性：Hilbert空间H有再生核=所有的泛函et(t为下标)，t∈E在H上连续；(3)全空间与子空间核的关系；参考《以{EI}I^N=1为正交基的再生核HILBERT空间》--李莎莎，郭锐(4)正定性：任何一个再生核都是正定矩阵(对应的二次型)。

数学解释定义：H是一个定义在一抽象集合B的实值或复值的Hilbert函数空间，对任意f(x)属于H，x属于B，若存在二元函数K(x,y)，满足：(1)对任意固定y属于B，K(x,y)作为x的函数属于H；(2)对任意f(x)属于H，有f(y)=(f(x),K(x,y))H(H为下标)。

则称K(x,y)为H的再生核，H是以K(x,y)为再生核的Hilbert空间，简称再生核Hilbert空间，简记为RKHS(Reproducing Kernel Hilbert Space)。

通常称(2)为再生性质。

性质：(1)唯一性：如果Hilbert空间有再生核K(x，y)，则再生核唯一(如果内积不同，也可能有不同的再生核)；(2)存在性：Hilbert空间H有再生核=所有的泛函et(t为下标)，t∈E在H上连续；(3)全空间与子空间核的关系；参考《以{EI}I^N=1为正交基的再生核HILBERT空间》--李莎莎，郭锐(4)正定性：任何一个再生核都是正定矩阵(对应的二次型)。

支持向量机回归的参数选择方法支持向量机（Support Vector Machine，简称SVM）是一种非常强大且广泛应用于机器学习领域的算法。

它不仅适用于分类问题，还可以用于回归任务。

本文将深入探讨支持向量机回归的参数选择方法，并分析其优势和应用场景。

SVM回归的目标是通过拟合一个最优的超平面来预测连续变量的输出。

与分类任务不同的是，SVM回归关注的是给定输入样本点的输出数值。

在SVM回归中，参数选择方法对模型性能的影响非常重要。

我们来讨论SVM回归的核函数选择。

核函数是SVM中的一个关键概念，它可以将输入样本从原始特征空间映射到高维特征空间。

常见的核函数包括线性核函数、多项式核函数和高斯核函数等。

针对回归任务，一般常用的是高斯核函数，它能更好地处理非线性关系。

接下来，我们讨论SVM回归的惩罚参数C选择。

惩罚参数C控制着模型对误差的容忍程度，其值的选择对模型的求解和泛化能力都会产生较大影响。

当C的值较小时，模型会容忍更多的误差，从而产生较宽泛的超平面；相反，当C的值较大时，模型会更严格地拟合训练样本，但可能会导致过拟合现象。

在参数选择过程中，需要权衡模型的拟合能力和泛化能力。

另外，核函数的超参数γ也是SVM回归中需要选择的重要参数。

γ决定了高斯核函数的带宽，即决定了样本点对决策边界的影响程度。

当γ较大时，样本点之间的距离对决策边界的影响减小，决策边界可能变得更加平滑；相反，当γ较小时，样本点之间的距离对决策边界的影响增大，决策边界可能更加对训练样本敏感。

在选择参数C和γ时，通常使用交叉验证的方法来评估模型的性能。

交叉验证将数据集划分为训练集和验证集，在不同的参数组合下训练模型，并在验证集上计算模型的性能指标，如均方误差（Mean Squared Error，简称MSE）。

根据验证集上的性能表现，选择使MSE最小的参数组合作为最终的模型参数。

支持向量机回归的参数选择方法涉及到核函数选择、惩罚参数C的确定和高斯核函数的超参数γ的选择。

基于优化多核支持向量回归的制造过程均值偏移幅度估计朱波;刘飞
【期刊名称】《中国机械工程》
【年(卷),期】2014(025)005
【摘要】为更加准确地估计制造过程均值偏移幅度,提出了一种基于多核函数支持向量回归(SVR)的估计方法.多核函数由线性核、多项式核和径向基核3种基本核函数凸组合而成,并通过粒子群优化算法(PSO)对核参数、组合权重系数以及SVR的惩罚系数C进行联合优化,以五折交叉验证求得训练样本的决定系数均值作为粒子适应度值,使生成的多核SVR获得良好的泛化能力.将该多核SVR与累积和(CUSUM)控制图集成构建了过程均值偏移监测模型,仿真实验结果表明,该方法相对人工神经网络(ANN)方法估计精度明显提高,比采用单一径向基核函数的SVR更为优越;在实际齿轮加工过程中进行应用验证,进一步证实了该方法的有效性和实用性.【总页数】7页(P630-635,641)
【作者】朱波;刘飞
【作者单位】重庆大学机械传动国家重点实验室,重庆400030;重庆大学机械传动国家重点实验室,重庆400030
【正文语种】中文
【中图分类】TP391.4;TH165.4
【相关文献】
1.基于优化有向无环图支持向量机的多变量过程均值异常识别 [J], 朱波;刘飞;李顺江
2.基于粗差判别的参数优化自适应加权最小二乘支持向量机在PX氧化过程参数估计中的应用 [J], 陶莉莉;钟伟民;罗娜;钱锋
3.基于支持向量回归模型的间歇过程优化 [J], 刘毅;阳宪惠;熊智华
4.基于支持向量回归模型的间歇过程优化 [J], 刘毅;阳宪惠;熊智华
5.基于改进灰狼算法优化多核支持向量回归机及其应用 [J], 王颖;朱刘涛;童勤;张强
因版权原因，仅展示原文概要，查看原文内容请购买。