下载文档原格式
基于改进粒子群算法的机器人几何参数标定研究作者：温秀兰吕仲艳贺顺王东霞康传帅赵艺兵来源：《南京信息工程大学学报（自然科学版）》2019年第02期摘要为了提高机器人末端绝对定位精度，提出了基于改进粒子群算法（IPSO）的机器人几何参数标定方法.首先，为避免当机器人相邻两轴线平行或接近平行时，模型存在奇异性，建立了串联机器人MDH模型;其次，针对机器人几何参数标定特点，提出用改进粒子群算法优化标定机器人几何参数，其中粒子初始位置和速度由拟随机Halton序列产生，采用浓缩因子法修改粒子飞行速度，建立了用IPSO标定机器人几何参数目标函数数学模型，确立了用该算法优化标定几何参数的具体步骤.通过对ER10L-C10工业机器人仿真与实测标定，结果证实：采用该方法能够快速标定机器人几何参数，经标定后的机器人末端绝对定位精度有大幅提高.该算法简单，鲁棒性强，易于在工业机器人标定中推广应用.关键词机器人;几何参数标定;改进粒子群算法;绝对定位精度中图分类号 TP391;TB92文献标志码 A0 引言高端制造业的持续发展提高了对工业机器人的精度要求，尤其是在激光焊接、激光切割以及航空航天等应用领域.工业机器人定位性能的衡量指标主要有重复定位精度和绝对定位精度[1].目前工业机器人的重复定位精度可达到0.02～0.1 mm，而绝对定位精度仅为毫米级.传统的机器人在制造业中主要担任着一些重复性的简单工作，而且多采用示教再现的模式.这类工作的特点是仅需要机器人多次重复到达同一位置，因此机器人的高重复定位精度起了很大作用[2-3].随着机器人在航空航天、柔性制造等领域应用日渐广泛，对机器人系统的高精度控制提出了更严格的要求，与其现有的绝对定位精度及定位稳定性之间存在突出的矛盾.机器人标定能够较好地提高机器人的绝对定位精度[4-5].机器人标定分为关节级标定、几何参数（即运动学）标定与非几何参数（非运动学）标定.由于机械加工误差、装配误差、磨损等因素影响，使得工业机器人实际参数和理论设计参数存在着偏差，导致其工作性能降低，而且由于结构特征、安装位姿等要素的影响，现场直接测量获得的机器人结构参数往往不够准确，直接导致了末端位姿精度的降低[6].研究发现，机器人几何参数误差是影响机器人作业精度的主要误差源，约占总误差的90%，通过对机器人几何参数的标定，可以有效提高机器人定位精度[7].因此机器人几何参数标定问题是机器人高精度定位控制的基础和核心问题，也是机器人领域的难点问题[8].机器人几何参数标定通常分为建模、测量、辨识和补偿4步.其中，DH模型是常用的几何参数模型之一，该模型通过齐次变换矩阵来描述相邻连杆之间的空间关系.但是，当机器人相邻关节旋转轴线平行或接近平行及垂直或接近垂直时出现奇异点，无法满足模型连续性的要求，直接影响标定结果的准确性.为了解决该问题，在传统的DH模型基础上Hayati提出了改进的DH模型（MDH模型）[9]，通过增加一个旋转参数，弥补了DH模型的缺陷，解决了相邻关节旋转轴线平行或接近平行时出现奇异点的问题[10].辨识是从测量数据中获取机器人实际模型参数信息的过程，其辨识的结果对机器人绝对定位精度的提高有直接影响.传统的辨识方法有最小二乘法、LM 方法、卡尔曼滤波法等.考虑到几何参数标定属于复杂的非线性优化问题，智能计算在解决复杂优化问题时有独到之处，因此，近年来已有学者尝试将遗传算法、粒子群优化算法等智能计算应用于对机器人参数辨识并取得了一定效果[11-14].其中：文献[11]建立了六自由度机器人的MDH模型，通过计算种群的适应值按照赌轮法选择个体，根据事先设定的概率进行交叉和变异操作，通过仿真证实了算法的有效性;文献[12]提出了基于改进遗传算法的空间机器人动力学参数辨识研究;文献[13]提出通过采用扩展卡尔曼滤波和神经网络算法提高机器人标定精度;文献[14]利用闭环矢量链法和DH矩阵法分别建立并联机器人和串联机器人的运动学误差模型，采用量子粒子群优化算法对五轴并联机床几何参数进行实验标定.总结现有研究结果发现，目前将智能计算用于机器人几何参数标定，多是通过仿真结果验证算法的有效性.本文建立了串联机器人MDH模型，提出将基于拟随机序列产生初始位置和浓缩因子法修改粒子速度的改进粒子群算法用于机器人几何参数标定，通过仿真实验和实测机器人来提高机器人绝对位置精度.1 機器人几何参数标定的数学模型1.1 MDH模型建立机器人常用模型为DH模型，该模型当机器人相邻两轴平行或接近平行时存在奇异性，为解决该问题，本文建立图1所示串联机器人MDH模型.依据MDH模型可以得到机器人连杆相邻坐标系之间的变换关系[15]，即：式中ai，di，αi，θi，βi分别表示机器人第i个关节的连杆长度、连杆偏距、关节扭角、关节角及关节扭角的名义值，i=1，2，…，n，n为关节数目，s和c分别表示sin和cos的缩写.机器人末端的名义位姿可由名义位姿矩阵Tn求取：式（2）中，Rn∈R3×3和Pn∈R3×1分别为名义姿态旋转和位置平移矩阵.由式（1）和（2）可见，机器人末端位姿是机器人几何参数ai，di，αi，βi及关节角θi的函数.当几何参数ai，di，αi，βi，θi存在误差Δai，Δdi，Δαi，Δβi，Δθi时，机器人末端实际位姿可由实际转换矩阵Tr计算：根据机器人微分运动学原理，机器人末端的位姿变化矩阵dT可以用相对于基坐标系的微分变换矩阵μ以及名义位姿矩阵Tn表示为其中微分变换矩阵μ可表示为式（5）中d=（dx，dy，dz）T代表一阶微分平移向量，δr代表一阶微分旋转矩阵，其中Δδ=（δx，δy，δz）T表示机器人末端实际姿态相对于名义姿态的误差.将式（2）、（5）代入式（4）得：式中Δp=（δpx，δpy，δpz）T代表机器人末端实际位置相对名义位置的误差.1.2 目标函数采用改进粒子群算法搜索优化机器人几何参数误差时，其目标函数定义为式（7）中N为标定点数目，k为调节因子.由式（1）—（7）可见，f是几何参数误差集（Δai，Δdi，Δαi，Δβi，Δθi）的函数，机器人几何参数标定实质是通过设定机器人在不同组关节角（θ1j，θ2j，θ3j，θ4j，θ5j，θ6j）下获得其末端位置和姿态的实际值与名义值的误差，通过优化搜索机器人几何参数误差集（Δai，Δdi，Δαi，Δβi，Δθi），使目标函数f为最小.例如图1所示待标定的六自由度串联机器人，因第 2、3 轴线在理论上是互相平行的，参数d2，β1，β3，β4，β5，β6不需要辨识，因此待优化的几何参数误差为Δa1，Δa2，Δa3，Δa4，Δa5，Δa6，Δd1，Δd3，Δd4，Δd5，Δd6，Δα1，Δα2，Δα3，Δα4，Δα5，Δα6，Δβ2，Δθ1，Δθ2，Δθ3，Δθ4，Δθ5，Δθ6，共24個参数，属于复杂约束的非线性优化问题，非常适宜于用粒子群算法求解.2 改进粒子群算法用于几何参数标定粒子群算法是由J.Kennedy和R.C.Eberhart提出的一种新的智能算法.其优化机理也是从随机解出发，根据适应度或目标函数来评价解的品质，通过追随当前搜索到的最优值来寻找全局最优解.该算法以其实现容易、精度高、收敛快等优点引起了学术界的重视，在移动机器人路径规划、基于网络的数据分类、Lévy 噪声数据拟合等实际工程问题中得到成功应用[16-18].2.1 拟随机Halton序列考虑到传统粒子群算法中粒子的初始位置采用伪随机数随机产生，而伪随机数序列随机性过强而均匀性不足，比伪随机数序列更加均匀地充满采样空间的序列是拟随机数，可以加快收敛速度.本文采用拟随机Halton序列在区间[0，1]上产生参数值ti（i=1，2，…，M），M通常取足够大的值使ti均匀地充满采样空间[0，1]，表示如下：Halton序列中的第k个元素由式（9）求得.2.2 基于IPSO的机器人几何参数标定用IPSO标定机器人几何参数误差时，粒子的速度由下述浓缩因子法修改：vt+1i=K（vti+C1r1（ptbest，i-pti）+C2r2（gtbest-pti）），其中φ=c1+c2，φ>4，vti 和pti 分别为第i个粒子在第t代的速度和位置，r1 、r2为[0，1]之间均匀分布随机数，c1、c2 为加速系数，决定了第i个粒子飞向局部最优个体ptbest，i 和全局最优个体gtbest的能力，粒子的收敛速度由φ控制.采用IPSO标定机器人几何参数步骤如下：步骤1.设置算法初始化控制参数.步骤2.输入被标定机器人几何参数的名义值.步骤3.生成粒子的初始位置和初始速度.采用拟随机Halton序列产生两组psize×N维的实数向量作为粒子的初始位置pti 和初始速度vti，i=1，2，…，psize，psize为种群规模，N为待优化变量的个数;t=1时设定粒子i的初始位置为其最优位置ptbest，i，选取初始粒子中目标函数值最小的粒子的位置作为初始全局最佳粒子位置gtbest.步骤4.根据机器人所有标定点关节角、实测位姿及名义位姿计算粒子的目标函数值f （pti），目标函数值越小，粒子越趋于最优解..步骤5.采用式（10）浓缩因子法修改粒子速度vt+1i.步骤6.根据修改后的粒子速度改变粒子位置pt+1i.pt+1i=pti+vt+1i Δt，其中Δt 是时间步长，设置为1，步骤7.计算粒子位置改变后的所有粒子目标函数值f（pt+1i）.步骤8.更新局部最佳粒子位置ptbest，i.步骤9.更新全局最佳粒子位置gtbest.步骤10.判断是否满足终止条件，若不满足，则t=t+1转步骤5.终止条件设定为算法的最大进化代数.步骤11.输出被标定机器人几何参数值，并计算标定前后机器人末端位置和方向误差.3 实验与结果3.1 仿真实验3.1.1 位姿产生为了验证算法的有效性，从ER10L-C10工业机器人手册中获取该机器人DH模型几何参数见表1.分别在[-0.01，0.01]（单位：rad）和[-0.05，0.05]（单位：mm）区间范围内随机均匀产生几何参数误差如表2所示，几何参数实际值根据表1理论值和表2设定的误差获得.〖KH+1D〗表1 ER10L-C10机器人名义参数在[-π，π]（单位：rad）区间内按照均匀分布随机产生32组理论关节角θ1j，θ2j，θ3j，θ4j，θ5j，θ6j，j=1，2，…，32.考虑到机器人因加工、装配、磨损等误差会导致由机器人示教器设定的关节角与实际关节角间有误差存在，实际关节角为在理论关节角上加入[-0.1，0.1]（单位：rad）服从均匀分布的随机噪声.将关节角及几何参数的理论值和实际值分别代入式（2）—（6），即可求出机器人末端位置和方向的理论值与实际值及位置和方向误差.3.1.2 仿真实验结果根据上述随机生成的几何参数误差和关节角，采用IPSO优化求解机器人几何参数，算法的控制参数设定为：粒子种群规模psize为20、加速系数c1、c2均为2.05、最大进化代数为2 000.初始种群中角度和长度几何参数误差分别在±0.01 rad和±0.5 mm区间范围内采用拟随机Halton序列产生.图2为IPSO在Intel（R） Core（TM） i5-4570 CPU主频3.20 GHz计算机上采用Matlab10.0优化搜索机器人的几何参数过程，完成2 000代进化所需时间分别为220 s.图3绘制了机器人末端绝对位置误差在标定前及经IPSO标定后的比较结果，图4和图5分别给出了机器人末端在标定前后绕X轴、Y轴和Z轴旋转的方向误差，由仿真实验结果可见：提出的ICSA不仅能够快速完成机器人几何参数标定，而且标定后的位置和方向误差均小于标定前，特别是绝对位置精度大幅提高.1.2 目标函数采用改进粒子群算法搜索优化机器人几何参数误差时，其目标函数定义为式（7）中N为标定点数目，k为调节因子.由式（1）—（7）可见，f是几何参数误差集（Δai，Δdi，Δαi，Δβi，Δθi）的函数，机器人几何参数标定实质是通过设定机器人在不同组关节角（θ1j，θ2j，θ3j，θ4j，θ5j，θ6j）下获得其末端位置和姿态的实际值与名义值的误差，通过优化搜索机器人几何参数误差集（Δai，Δdi，Δαi，Δβi，Δθi），使目标函数f为最小.例如图1所示待标定的六自由度串联机器人，因第 2、3 轴线在理论上是互相平行的，参数d2，β1，β3，β4，β5，β6不需要辨识，因此待优化的几何参数误差为Δa1，Δa2，Δa3，Δa4，Δa5，Δa6，Δd1，Δd3，Δd4，Δd5，Δd6，Δα1，Δα2，Δα3，Δα4，Δα5，Δα6，Δβ2，Δθ1，Δθ2，Δθ3，Δθ4，Δθ5，Δθ6，共24个参数，属于复杂约束的非线性优化问题，非常适宜于用粒子群算法求解.2 改进粒子群算法用于几何参数标定粒子群算法是由J.Kennedy和R.C.Eberhart提出的一种新的智能算法.其优化机理也是从随机解出发，根据适应度或目标函数来评价解的品质，通过追随当前搜索到的最优值来寻找全局最优解.该算法以其实现容易、精度高、收敛快等优点引起了学术界的重视，在移动机器人路径规划、基于网络的数据分类、Lévy 噪声数据拟合等实际工程问题中得到成功应用[16-18].2.1 拟随机Halton序列考虑到传统粒子群算法中粒子的初始位置采用伪随机数随机产生，而伪随机数序列随机性过强而均匀性不足，比伪随机数序列更加均匀地充满采样空间的序列是拟随机数，可以加快收敛速度.本文采用拟随机Halton序列在区间[0，1]上产生参数值ti（i=1，2，…，M），M通常取足够大的值使ti均匀地充满采样空间[0，1]，表示如下：Halton序列中的第k个元素由式（9）求得.2.2 基于IPSO的机器人几何参数标定用IPSO标定机器人几何参数误差时，粒子的速度由下述浓缩因子法修改：vt+1i=K（vti+C1r1（ptbest，i-pti）+C2r2（gtbest-pti）），其中φ=c1+c2，φ>4，vti 和pti 分别为第i个粒子在第t代的速度和位置，r1 、r2为[0，1]之间均匀分布随机数，c1、c2 为加速系数，决定了第i个粒子飞向局部最优个体ptbest，i 和全局最优个体gtbest的能力，粒子的收敛速度由φ控制.采用IPSO标定机器人几何参数步骤如下：步骤1.设置算法初始化控制参数.步骤2.输入被标定机器人几何参数的名义值.步骤3.生成粒子的初始位置和初始速度.采用拟随机Halton序列产生两组psize×N维的实数向量作为粒子的初始位置pti 和初始速度vti，i=1，2，…，psize，psize为种群规模，N为待优化变量的个数;t=1时设定粒子i的初始位置为其最优位置ptbest，i，选取初始粒子中目标函数值最小的粒子的位置作为初始全局最佳粒子位置gtbest.步骤4.根据机器人所有标定点关节角、实测位姿及名义位姿计算粒子的目标函数值f （pti），目标函数值越小，粒子越趋于最优解..步骤5.采用式（10）浓缩因子法修改粒子速度vt+1i.步骤6.根据修改后的粒子速度改变粒子位置pt+1i.pt+1i=pti+vt+1i Δt，其中Δt 是时间步长，设置为1，步骤7.计算粒子位置改变后的所有粒子目标函数值f（pt+1i）.步骤8.更新局部最佳粒子位置ptbest，i.步骤9.更新全局最佳粒子位置gtbest.步骤10.判断是否满足终止条件，若不满足，则t=t+1转步骤5.终止条件设定为算法的最大进化代数.步骤11.输出被标定机器人几何参数值，并计算标定前后机器人末端位置和方向误差.3 实验与结果3.1 仿真实验3.1.1 位姿产生为了验证算法的有效性，从ER10L-C10工业机器人手册中获取该机器人DH模型几何参数见表1.分别在[-0.01，0.01]（单位：rad）和[-0.05，0.05]（单位：mm）区间范围内随机均匀产生几何参数误差如表2所示，几何参数实际值根据表1理论值和表2设定的误差获得.〖KH+1D〗表1 ER10L-C10机器人名义参数在[-π，π]（单位：rad）区间内按照均匀分布随机产生32组理论关节角θ1j，θ2j，θ3j，θ4j，θ5j，θ6j，j=1，2，…，32.考虑到机器人因加工、装配、磨损等误差会导致由机器人示教器设定的关节角与实际关节角间有误差存在，实际关节角为在理论关节角上加入[-0.1，0.1]（单位：rad）服从均匀分布的随机噪声.将关节角及几何参数的理论值和实际值分别代入式（2）—（6），即可求出机器人末端位置和方向的理论值与实际值及位置和方向误差.3.1.2 仿真实验结果根据上述随机生成的几何参数误差和关节角，采用IPSO优化求解机器人几何参数，算法的控制参数设定为：粒子种群规模psize为20、加速系數c1、c2均为2.05、最大进化代数为2 000.初始种群中角度和长度几何参数误差分别在±0.01 rad和±0.5 mm区间范围内采用拟随机Halton序列产生.图2为IPSO在Intel（R） Core（TM） i5-4570 CPU主频3.20 GHz计算机上采用Matlab10.0优化搜索机器人的几何参数过程，完成2 000代进化所需时间分别为220 s.图3绘制了机器人末端绝对位置误差在标定前及经IPSO标定后的比较结果，图4和图5分别给出了机器人末端在标定前后绕X轴、Y轴和Z轴旋转的方向误差，由仿真实验结果可见：提出的ICSA不仅能够快速完成机器人几何参数标定，而且标定后的位置和方向误差均小于标定前，特别是绝对位置精度大幅提高.1.2 目标函数采用改进粒子群算法搜索优化机器人几何参数误差时，其目标函数定义为式（7）中N为标定点数目，k为调节因子.由式（1）—（7）可见，f是几何参数误差集（Δai，Δdi，Δαi，Δβi，Δθi）的函数，机器人几何参数标定实质是通过设定机器人在不同组关节角（θ1j，θ2j，θ3j，θ4j，θ5j，θ6j）下获得其末端位置和姿态的实际值与名义值的误差，通过优化搜索机器人几何参数误差集（Δai，Δdi，Δαi，Δβi，Δθi），使目标函数f为最小.例如图1所示待标定的六自由度串联机器人，因第 2、3 轴线在理论上是互相平行的，参数d2，β1，β3，β4，β5，β6不需要辨识，因此待优化的几何参数误差为Δa1，Δa2，Δa3，Δa4，Δa5，Δa6，Δd1，Δd3，Δd4，Δd5，Δd6，Δα1，Δα2，Δα3，Δα4，Δα5，Δα6，Δβ2，Δθ1，Δθ2，Δθ3，Δθ4，Δθ5，Δθ6，共24个参数，属于复杂约束的非线性优化问题，非常适宜于用粒子群算法求解.2 改进粒子群算法用于几何参数标定粒子群算法是由J.Kennedy和R.C.Eberhart提出的一种新的智能算法.其优化机理也是从随机解出发，根据适应度或目标函数来评价解的品质，通过追随当前搜索到的最优值来寻找全局最优解.该算法以其实现容易、精度高、收敛快等优点引起了学术界的重视，在移动机器人路径规划、基于网络的数据分类、Lévy 噪声数据拟合等实际工程问题中得到成功应用[16-18].2.1 拟随机Halton序列考虑到传统粒子群算法中粒子的初始位置采用伪随机数随机产生，而伪随机数序列随机性过强而均匀性不足，比伪随机数序列更加均匀地充满采样空间的序列是拟随机数，可以加快收敛速度.本文采用拟随机Halton序列在区间[0，1]上产生参数值ti（i=1，2，…，M），M通常取足够大的值使ti均匀地充满采样空间[0，1]，表示如下：Halton序列中的第k个元素由式（9）求得.2.2 基于IPSO的机器人几何参数标定用IPSO标定机器人几何参数误差时，粒子的速度由下述浓缩因子法修改：vt+1i=K（vti+C1r1（ptbest，i-pti）+C2r2（gtbest-pti）），其中φ=c1+c2，φ>4，vti 和pti 分别为第i个粒子在第t代的速度和位置，r1 、r2为[0，1]之间均匀分布随机数，c1、c2 为加速系数，决定了第i个粒子飞向局部最优个体ptbest，i 和全局最优个体gtbest的能力，粒子的收敛速度由φ控制.采用IPSO标定机器人几何参数步骤如下：步骤1.设置算法初始化控制参数.步骤2.输入被标定机器人几何参数的名义值.步骤3.生成粒子的初始位置和初始速度.采用擬随机Halton序列产生两组psize×N维的实数向量作为粒子的初始位置pti 和初始速度vti，i=1，2，…，psize，psize为种群规模，N为待优化变量的个数;t=1时设定粒子i的初始位置为其最优位置ptbest，i，选取初始粒子中目标函数值最小的粒子的位置作为初始全局最佳粒子位置gtbest.步骤4.根据机器人所有标定点关节角、实测位姿及名义位姿计算粒子的目标函数值f （pti），目标函数值越小，粒子越趋于最优解..步骤5.采用式（10）浓缩因子法修改粒子速度vt+1i.步骤6.根据修改后的粒子速度改变粒子位置pt+1i.pt+1i=pti+vt+1i Δt，其中Δt 是时间步长，设置为1，步骤7.计算粒子位置改变后的所有粒子目标函数值f（pt+1i）.步骤8.更新局部最佳粒子位置ptbest，i.步骤9.更新全局最佳粒子位置gtbest.步骤10.判断是否满足终止条件，若不满足，则t=t+1转步骤5.终止条件设定为算法的最大进化代数.步骤11.输出被标定机器人几何参数值，并计算标定前后机器人末端位置和方向误差.3 实验与结果3.1 仿真实验3.1.1 位姿产生为了验证算法的有效性，从ER10L-C10工业机器人手册中获取该机器人DH模型几何参数见表1.分别在[-0.01，0.01]（单位：rad）和[-0.05，0.05]（单位：mm）区间范围内随机均匀产生几何参数误差如表2所示，几何参数实际值根据表1理论值和表2设定的误差获得.〖KH+1D〗表1 ER10L-C10机器人名义参数在[-π，π]（单位：rad）区间内按照均匀分布随机产生32组理论关节角θ1j，θ2j，θ3j，θ4j，θ5j，θ6j，j=1，2，…，32.考虑到机器人因加工、装配、磨损等误差会导致由机器人示教器设定的关节角与实际关节角间有误差存在，实际关节角为在理论关节角上加入[-0.1，0.1]（单位：rad）服从均匀分布的随机噪声.将关节角及几何参数的理论值和实际值分别代入式（2）—（6），即可求出机器人末端位置和方向的理论值与实际值及位置和方向误差.3.1.2 仿真实验结果根据上述随机生成的几何参数误差和关节角，采用IPSO优化求解机器人几何参数，算法的控制参数设定为：粒子种群规模psize为20、加速系数c1、c2均为2.05、最大进化代数为2 000.初始种群中角度和长度几何参数误差分别在±0.01 rad和±0.5 mm区间范围内采用拟随机Halton序列产生.图2为IPSO在Intel（R） Core（TM） i5-4570 CPU主频3.20 GHz计算机上采用Matlab10.0优化搜索机器人的几何参数过程，完成2 000代进化所需时间分别为220 s.图3绘制了机器人末端绝对位置误差在标定前及经IPSO标定后的比较结果，图4和图5分别给出了机器人末端在标定前后绕X轴、Y轴和Z轴旋转的方向误差，由仿真实验结果可见：提出的ICSA不仅能够快速完成机器人几何参数标定，而且标定后的位置和方向误差均小于标定前，特别是绝对位置精度大幅提高.。
改进粒子群算法优化最小二乘支持向量机的网络流量混沌预测黄国权;尤新华
【期刊名称】《激光杂志》
【年(卷),期】2015(0)3
【摘要】为了提高网络流量的预测准确性,针对最小二乘支持向量机参数优化方法的缺陷,提出一种改进粒子群算法优化最小二乘支持向量机的网络流量混沌预测模型。
首先将最小二乘支持向量机参数作为粒子初始位置,然后通过粒子群之间信息交流、互相协作找到最优参数,并对惯性权重和学习因子进行改进,最后对网络流量数据进行重构,并采用最优参数的最小二乘支持向量机建立网络流量预测模型。
实验结果表明,本文模型提高了网络流量的预测精度,并大幅度减少了训练时间,可以满足网络流量在线预测要求。
【总页数】4页(P96-99)
【关键词】网络流量;粒子群优化算法;混沌理论;最小二乘支持向量机
【作者】黄国权;尤新华
【作者单位】广东药学院医药信息工程学院;湖北大学知行学院计科系
【正文语种】中文
【中图分类】TP393.06;TP18
【相关文献】
1.遗传算法优化支持向量机的网络流量混沌预测 [J], 熊凡
2.粒子群算法优化支持向量机的网络流量混沌预测 [J], 刘昆
3.基于变分模态分解和改进粒子群算法优化最小二乘支持向量机的短期电价预测[J], 杨昭;张钢;赵俊杰;张灏;蔺奕存
4.改进粒子群算法优化最小二乘支持向量机的高炉炉温预测研究 [J], 薛永杰因版权原因，仅展示原文概要，查看原文内容请购买。
非线性最小二乘问题非线性最小二乘问题是一种解决实际应用中非线性系统求解最优化问题的有效方法，是研究遥感、机器人导航、机床控制、智能控制等领域的研究的基础。
非线性最小二乘问题具有普遍性，在很多学科和领域中都有广泛的应用。
一般来说，非线性最小二乘问题是一种优化问题，它涉及到求解满足条件的参数及其对应的函数最小值，其函数由基本函数和残差函数两部分组成。
基本函数又称作目标函数，是根据实际问题解题的依据；残差函数又称作约束函数，是根据实际约束条件而确定的。
因此，非线性最小二乘问题的求解步骤有以下几个：(1)确定基本函数和残差函数；(2)确定求解的参数及其范围；(3)对对应的函数最小值，采用梯度下降法等优化方法求解；(4)判断最小值是否满足目标要求，以达到最优化的效果。
其中，梯度下降法是一种常用的优化方法，它可以帮助求解非线性最小二乘问题，梯度下降法的基本思想是，在每次迭代中，根据目标函数对变量的梯度信息，找到该函数局部最小值，通过迭代搜索不断改进求解结果，使得每次迭代都能获得更优的结果。
另外，针对不同问题，还可以采用其他有效的优化方法，如模拟退火算法、粒子群算法等，它们都可以有效解决非线性最小二乘问题。
模拟退火算法是一种迭代算法，它可以有效地控制步长，从而有效改善求解结果；粒子群算法是一种仿生算法，它可以通过考虑各个粒子之间的信息交互，自动学习出有效的优化参数，从而有效求解非线性最小二乘问题。
总之，非线性最小二乘问题是一种常见的优化问题，其解题的基本步骤是确定基本函数和残差函数，然后采用梯度下降法、模拟退火算法、粒子群算法等有效的优化方法，从而求解满足约束条件的非线性最小二乘问题最优解。
研究非线性最小二乘问题，有利于更好地解决遥感、机器人导航、机床控制等工程实际应用中的问题，从而实现更高效的控制和决策。
基于粒子群算法多项式最小二乘估计近年来，随着科技的不断发展，数据量和数据处理的复杂性都在增加，数据的建模和分析变得越来越困难。
而多项式最小二乘估计是一种常用的回归分析方法，它可以在众多数据点中找出一个最佳的多项式曲线拟合，从而更好地预测未来的趋势。
但是，传统的最小二乘估计方法存在收敛速度慢、易陷入局部最优等缺点。
因此，如何提高估计的准确性和效率成为了一个热门的研究领域。
最近，粒子群算法（Particle Swarm Optimization，PSO）被引入到多项式最小二乘估计中，以解决其固有的问题。
粒子群算法是一种基于群体行为的优化算法，其灵感来源于鸟群或鱼群的分布和行为。
通过模拟粒子在解空间的移动和信息交流，寻找最优的解策略。
同时，多项式曲线的每一个系数也被视为一个解空间，PSO可以在这些解空间中寻找最佳的系数组合。
在粒子群算法多项式最小二乘估计中，每一个粒子被表示为一个多项式系数的向量。
在初始化时，每一个粒子都被赋予一个随机的位置和速度。
其速度是通过当前位置和历史最优位置之间的差异进行求解。
同时，每一个粒子还维护着自己的历史最优位置和全局最优位置。
为了更新粒子的位置和速度，需要通过计算适应度函数来确定当前解的质量，并根据适应度函数的结果来调整速度和位置。
在算法的迭代过程中，不断优化每一个粒子的位置和速度，直到达到全局最小值。
相比于传统的最小二乘估计方法，基于粒子群算法的多项式最小二乘估计具有更快的收敛速度和更好的优化效果。
同时，由于其天然的并行性和全局搜索能力，PSO算法可以解决传统算法易陷入局部最优的问题。
而且，与其他优化算法相比，PSO具有计算量小、易于实现等优点，因此在实际应用中具有广泛的应用前景。
总之，基于粒子群算法的多项式最小二乘估计为数据的建模和分析提供了一种高效的手段。
未来，我们可以继续优化算法的具体实现和参数设置，以进一步提高算法的性能和适用范围，为数据分析和应用带来更多的实际价值。
改进粒子群算法优化最小二乘支持向量机的高炉炉温预测研究◎薛永杰（作者单位：青岛科技大学）一、引言高炉炼铁是一个复杂的多变量控制系统，保证炉内状况稳定很有必要。
其中炉温的控制是十分重要的因素。
良好的炉温控制是高炉生产稳定的前提。
本文提出了一种基于粒子群算法优化最小二乘支持向量机的高炉炉温预测模型。
首先建立具有径向基函数为核函数的最小二乘支持向量机模型，将最小二乘支持向量机参数作为粒子初始位置，然后通过粒子群信息交流找到最优参数，并通过改进粒子群算法优化惯性权重和学习因子，得到采用最优参数的最小二乘支持向量机建立的高炉炉温预测模型。
实验结果表明，本文模型提高了高炉炉温的预测精度，并大幅减少训练时间。
二、IPSO－LSSVM 的高炉炉温预测模型1.最小二乘支持向量回归模型。
LSSVM 的基本原理为，给定非线性训练样本集T，T={（xi，yi ）i=1，2，…，n}，x∈Rn 的子集表示输入数据，yi∈Rn 的子集表示输出数据，n 表示样本训练个数。
映射非线性函数以获得高维特征空间。
进行线性回归分析。
基于结构风险最小化原理，得到LSSVM 的优化目标函数。
为了解决最优问题，引入拉格朗日乘数，将约束下的优化方程转化为无约束目标函数。
依据KKT 优化条件得到最优值。
然后得到最小二乘支持向量机分类决策函数。
大量研究实验表明高斯径向基核函数可以获得良好的性能。
因此本文采用高斯径向基核函数来帮助LSSVM 预测模型获得最优解。
2.改进粒子群算法。
假设在d 维的搜索空间内，有n 个粒子组成的一个种群，χi 表示第i 个粒子的位置，νi 表示第i 个粒子的速度，p i 表示粒子搜索的最优位置，p g 表示种群搜索的最优位置。
粒子更新速度与位置的公式为（1）（2）：式中k 表示实验中迭代的次数，c 1和c 2为学习因子，ω为惯性权重系数，r 1和r 2为[0，1]内的随机函数。
惯性权重ω用于平衡全局搜索与局部搜索能力，可以通过以下公式（3）确定：式中Wmax 是初始权重，Wmin 是最终权重。
l-m算法和粒子群算法L-M算法L-M算法是一种非线性最小二乘法的算法，它是将高斯-牛顿算法与牛顿-拉弗森算法相结合的一种优化算法。
在非线性最小二乘问题中，我们要找到一组未知参数，使得该组参数下的函数值与实际观测值的误差平方和最小。
L-M算法的基本思想是：在进行参数更新计算时，先利用高斯-牛顿算法求得近似解，然后再利用牛顿-拉弗森算法对高斯-牛顿算法得到的近似解进行改进。
具体步骤如下：1.初始化参数向量和衰减系数；2.求得残差向量和雅可比矩阵；3.利用高斯-牛顿算法得到近似解；4.计算新的目标函数值和残差向量，判断误差减少的程度是否满足要求；5.如果误差减少的程度较小，则调整衰减系数，回到第4步，否则转入第6步；6.利用牛顿-拉弗森算法改进当前的近似解；7.计算新的目标函数值和残差向量，判断误差减少的程度是否满足要求；8.如果误差减少的程度较小，则调整衰减系数，回到第7步，否则输出结果。
L-M算法的特点是：具有牛顿-拉弗森算法的高精度和收敛速度快的特点，并且还能自适应地调整步长，避免算法陷入局部最优解。
但是，L-M算法对初始参数设置要求较高，容易陷入局部极值。
粒子群算法是一种基于群体智能的随机搜索算法，通过模拟鸟群或鱼群等生物的群体行为来搜索最优解。
在粒子群算法中，搜索空间中的每个点都被看作一个粒子，每个粒子都有一个位置和速度，算法通过不断调整粒子的位置和速度来搜索最优解。
具体步骤如下：1.初始化粒子群的位置和速度；2.计算每个粒子的适应度值，选择当前最优的粒子作为全局最优解；3.按照既定规则更新所有粒子的位置和速度；4.计算新的适应度值，更新全局最优解；5.检查终止条件是否满足，如果满足则输出结果，否则回到第3步。
粒子群算法的优点是：具有良好的全局搜索能力和收敛性能，能够快速搜索到全局最优解。
同时，算法不需要计算复杂的梯度信息，可以在高维空间中寻找最优解。
粒子群算法的缺点是：容易陷入局部最优解，需要多次随机初始化计算。
收稿日期:20050518;修回日期:20050816。
基金项目:武汉理工大学校基金(X JJ2004113);U IRT 计划(A156,A157)资助课题作者简介:高飞(1976),男,博士研究生,主要研究方向为最优化理论与方法,计算流体力学。
E 2mail :gaofei @基于改进粒子群优化的非线性最小二乘估计高 飞,童恒庆(武汉理工大学数学系,湖北武汉430070) 摘 要:针对测量数据处理中非线性模型参数估计理论广泛使用的传统牛顿类算法对初值的敏感性问题,提出了一种求解非线性最小二乘估计的改进粒子群优化算法。
该算法利用均匀设计方法在可行域内产生初始群体,无需未知参数θ的较好的近似作为迭代初值,而具有大范围收敛的性质;通过偏转、拉伸目标函数有效地抑制了粒子群优化算法易收敛到局部最优的缺陷。
给出应用该方法到NL SE 的具体步骤,通过仿真实验证明该算法的有效性。
关键词:统计学;参数估计;粒子群优化算法;非线性最小二乘估计中图分类号:TP301 文献标识码:ANonlinear least squares estimation based on improvedparticle sw arm optimizationG AO Fei ,TON G Heng 2qing(Dept.of Mathematics ,W uhan U niv.of Technology ,W uhan 430070,China ) Abstract :To investigate the sensitivity of the traditional Newton methods widely used in the theory of nonlinear least squares estimation (NLSE )in geodesic data processing to the initial point ,an improved particle swarm optimiza 2tion (PSO )algorithm is proposed.It generates the initial population in feasible field by uniform design method ,so it has the property of convergence in large scale without better approximation of the unknown parameter θas iterative ini 2tial point.It restrains PSO ’s local convergence limitation efficiently by deflection and stretching of objective function.Finally the detailled steps of the proposed method for NLSE are given ,and experiments done show the improved tech 2nique ’s effectiveness.K ey w ords :statistics ;parameter estimation ;particle swarm optimization ;nonlinear least squares estimation0 引 言 始于20世纪60年代的关于非线性模型参数估计理论的研究,直到1980年以后,Bates 和Watts 引入曲率度量以后,才得到较快的发展。
对于一些复杂的非线性模型,传统的方法如:直接搜索法、复合形法、梯度法、变尺度法等往往只对某一类特定问题有效,且对模型的限制比较多,如可导、单峰等特性。
要在测量数据处理中广泛使用非线性模型参数估计理论,必须进行大量深入细致的工作,寻找通用有效的算法[1-2]。
随研究的深入,我们发现群集智能研究的新进展粒子群优化(particle swarm optimization ,PSO )算法有其独特的优势[3-6],采用该算法的非线性最小二乘估计(nonlinear least squares es 2timation ,NLSE )问题能得到非常好的计算结果。
PSO 由Eberhart 和K ennedy 于1995年提出,起源于对一个简化社会模型的仿真,和人工生命理论以及鸟类或鱼类的群集现象有十分明显的联系;作为一种高效并行优化方法,已经得到了众多学者的重视和研究,可用于求解大量非线性、不可微和多峰值的复杂优化问题;而且其程序实现简洁,需要调整的参数少,发展很快,已应用于多个科学和工程领域[3-4]。
同时,鉴于PSO 收敛性能的局限,很多学者都致力于提高PSO 算法的性能[5-6]。
本文尝试探讨非线性最小二乘估计的相关理论,采用均匀设计方法设计群体[7]、偏转目标函数[8]以改善PSO 的收敛性能,在此基础上采用PSO 的求解非线性最小二乘估计问题,数值算例进一步说明了本文的主要结果。
1 非线性最小二乘估计已知{(X i ,Y i ),i =1,…,n}是模型的一组观测值,假第28卷 第5期系统工程与电子技术Vol.28 No.52006年5月Systems Engineering and Electronics May 2006 文章编号:10012506X (2006)0520775204定主要误差出现在变量Y的观测上,曲线拟合就是用数学分析的方法从观测数据中求得模型的最佳表达式。
设观测值Yi 的偏差δYi=Y i-f(X i,θ),i=1,…,n,偏差向量V=(δY1,…,δY n)T,记f i(θ)=f(X i,θ),f(θ)= (f1(θ),…,f n(θ))T,Y=(Y1,…,Y n)T,最小二乘法假定偏差独立服从同一正态分布,用最小二乘估计^θ=arg min V T V估计未知参数θ。
设观测值的权矩阵为n×n的对称正定矩阵P,则未知参数θ的非线性最小二乘估计为^θ=arg min V T PV又因为V T PV=(δY1,…,δY n)P(δY1,…,δY n)T=(f(θ)-Y)T P(f(θ)-Y)=(f(θ))T P(f(θ)-2Y)+Y T P Y且Y T P Y是常数,从而min(f(θ))T P(f(θ)-2Y)等价于min V T PV,所以θ的非线性最小二乘估计为^θ=arg min (f(θ))T P(f(θ)-2Y)。
用此方法确定的模型的可靠程度与观测值Yi 的偏差δi的大小有密切联系。
而且最小二乘法中常用的方法如:直接搜索法、梯度法、变尺度法、G auss2Newton法等虽具有收敛速度快的优点,但往往只对某些特定问题有效,存在计算复杂、预处理量大、不易收敛、对迭代初值敏感性大的缺点[1-2,8]。
2 粒子群优化算法及改进在分析PSO理论基础、实现方式的基础上,结合在计算数学中的一些常用手段,从初始点集的选取和目标函数的处理两个方面对PSO进行改进。
2.1 粒子群优化算法PSO是一种相对较新的基于群体的演化计算方法(EA),根据对环境的适应度将群体中的个体移动到好的区域;将每个个体看作D维搜索空间中的一个没有体积的微粒(点),所有的粒子都有一个由被优化的函数决定的适应值,主要特点为:(1)每一粒子都被赋予了初始随机速度并在解空间中流动;(2)个体具有记忆功能;(3)个体的进化主要是它本身的飞行经验以及同伴的飞行经验进行动态调整,通过迭代找到最优解[5-6]。
设k时刻,第i个微粒(i=1,…,M)表示为Xi(k)= (x i,1(k),…,x i,D(k)),它经历过的最好位置记为p best=P i (k)=(p i,1(k),…,p i,D(k));在群体所有微粒经历过的当前最好位置的索引号表示为g best=Q g(k)=((q g,1(k),…, q g,D(k));微粒i的速度用V i(k)=(v i,1(k),…,v i,D(k))表示。
设w为惯性权重,c1认知加速常数,c2为社会加速常数,rand(a,b)产生在[a,b]范围内变化的随机数,χ∈(0,1]为收缩因子,速度V i(t)被一个最大速度V M限制:如果当前对微粒的加速导致它在某维的速度vi,d ≤V Md,则vi,d:=V M d[3-4];X i(t)的第d维(1≤d≤D)根据如下方程[3]变化Tp i,d(k)=rand(0,c1)×[p i,d(k)-x i,d(k)]Tq i,d(k)=rand(0,c2)×[q g,d(k)-x i,d(k)]v i,d(k+1)=χ[w×v i,d(k)+Tp i,d(k)+Tq i,d(k)] x i,d(k+1)=x i,d(k)+v i,d(k+1) 按上述思想的PSO是全局版的,虽然收敛快,但有时会陷入局部最优。
而局部版PSO通过保持多个吸引子来避免早熟,对每一个粒子Xi:把所有粒子按序号排成一圈, X i两侧的各l个粒子和X i组成的共2×l+1个粒子的集合称为Xi的环状邻域Ni,从N i中选出最好的,标记为l best=L i(t)=(l i,1(t),…,l i,D(t)),设c3为邻域加速常数,其他参数与全局版PSO相同;Xi(t)的第d维(1≤d≤D)根据如下方程[5]变化Tl i,d(k)=rand(0,c3)×[l i,d(k)-x i,d(k)]tem p=w・v i,d(k)+Tp i,d(k)+Tq i,d(k)+Tl i,d(k) v i,d(k+1)=χ・tem px i,d(k+1)=x i,d(k)+v i,d(k+1) 实验表明,局部版比全局版收敛慢,但不容易陷入局部最优[5-6]。
PSO的优势在于算法的简洁性,易于实现,参数调整少,无需梯度信息;是非线性连续优化问题、组合优化问题的有效优化工具,已经广泛应用于函数优化、神经网络训练、车间作业调度、等[3,6]。
2.2 改进策略PSO与遗传算法(genetic algorithms,G A)的信息共享机制并不同的:G A的整个种群比较均匀的向最优区域移动;而在PSO中,只有g best(或l best)传递信息给其他粒子,更新过程是跟随当前最优解的单向过程。
而且,PSO算法对种群大小不十分敏感。
虽然在算法的早期,PSO收敛快,但若c2、V M等参数太大,粒子群可能错过最优解,造成不收敛;即使在收敛的情况下,由于粒子群趋于同一化,算法后期收敛速度明显变慢,同时算法收敛到一定精度时,无法继续优化;因此很多学者都致力于改进PSO算法,如:惯性权重法、压缩因子法、空间邻域法、社会趋同法、动态目标函数法、协同法、结合复杂系统的自组织临界性等[5-6]。
