Performance of Differential Evolution Method in Least Squares Fitting of Some Typical Nonli

1.1 如果是Matlab安装光盘上的工具箱，重新执行安装程序，选中即可；

1.2 如果是单独下载的工具箱，一般情况下仅需要把新的工具箱解压到某个目录。

2 在matlab的file下面的set path把它加上。

3 把路径加进去后在file→Preferences→General的Toolbox Path Caching里点击update

Toolbox Path Cache更新一下。

4 用which newtoolbox_command.m来检验是否可以访问。如果能够显示新设置的路径，则表明该工具箱可以使用了。

把你的工具箱文件夹放到安装目录中“toolbox”文件夹中，然后单击“file”菜单中的“setpath”命令，打开“setpath”对话框，单击左边的“ADDFolder”命令，然后选择你的那个文件夹，最后单击“SAVE”命令就OK了。

MATLAB Toolboxes

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

• ADCPtools - acoustic doppler current profiler data processing

• AFDesign - designing analog and digital filters

• AIRES - automatic integration of reusable embedded software

• Air-Sea - air-sea flux estimates in oceanography

• Animation - developing scientific animations

• ARfit - estimation of parameters and eigenmodes of multivariate autoregressive methods

• ARMASA - power spectrum estimation

ISSN 1000-9825, CODEN RUXUEW E-mail: jos@

Journal of Software, Vol.21, No.5, May 2010, pp.875−885

doi: 10.3724/SP.J.1001.2010.03486 Tel/Fax: +86-10-62562563

© by Institute of Software, the Chinese Academy of Sciences. All rights reserved.

差分演化的收敛性分析与算法改进∗

贺毅朝1+, 王熙照2, 刘坤起1,3, 王彦祺1

1(石家庄经济学院 信息工程学院,河北 石家庄 050031)

2(河北大学 数学与计算机学院,河北 保定 071002)

3(中国地质大学 计算机学院,湖北 武汉 430074)

Convergent Analysis and Algorithmic Improvement of Differential Evolution

HE Yi-Chao1+, WANG Xi-Zhao2, LIU Kun-Qi1,3, WANG Yan-Qi1

1(School of Information Engineering, Shijiazhuang University of Economics, Shijiazhuang 050031, China)

2(College of Mathematics and Computer Science, Hebei University, Baoding 071002, China)

3(School of Computer, China University of Geosciences, Wuhan 430074, China)

+ Corresponding author: E-mail: heyichao@

最小二乘法（least sqaure

method）

专栏文章汇总

文章结构如下：

1： 最小二乘法的原理与要解决的问题

2 ：最小二乘法的矩阵法解法

3：最小二乘法的几何解释

4：最小二乘法的局限性和适用场景

5： 案例python实现

6：参考文献

1： 最小二乘法的原理与要解决的问题

最小二乘法是由勒让德在19世纪发现的，形式如下式：

标函数 = \sum（观测值-理论值）^2\\观测值就是我们的多组样本，理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。举一个最简单的线性回归的简单例子，比如我们有 m 个只有一个特征的样本： (x_i, y_i)(i=1,

2, 3...,m)

样本采用一般的 h_{\theta}(x) 为 n 次的多项式拟合，

h_{\theta}(x)=\theta_0+\theta_1x+\theta_2x^2+...\theta_nx^n,\theta(\theta_0,\theta_1,\theta_2,...,\theta_n)

为参数

最小二乘法就是要找到一组

\theta(\theta_0,\theta_1,\theta_2,...,\theta_n) 使得

\sum_{i=1}^n(h_{\theta}(x_i)-y_i)^2 (残差平方和) 最小，即，求 min\sum_{i=1}^n(h_{\theta}(x_i)-y_i)^2

2 ：最小二乘法的矩阵法解法

最小二乘法的代数法解法就是对 \theta_i 求偏导数，令偏导数为0，再解方程组，得到 \theta_i 。矩阵法比代数法要简洁，下面主要讲解下矩阵法解法，这里用多元线性回归例子来描：

假设函数

h_{\theta}(x_1,x_2,...x_n)=\theta_0+\theta_1x_1+...+\theta_nx_n 的矩阵表达方式为：

leastsq方法

leastsq方法是一种用于非线性最小二乘问题求解的数值优化算法。在科学研究和工程实践中，我们经常会遇到需要拟合一条曲线或者求解一组非线性方程的问题。leastsq方法可以帮助我们找到使得拟合曲线与实际数据最接近的参数值，或者找到使得方程组的误差最小的解。

在使用leastsq方法求解问题之前，我们首先需要定义一个目标函数。这个目标函数是我们要拟合的曲线或者要求解的方程组。然后，我们需要给出初始参数的估计值。leastsq方法会根据目标函数和初始参数值，通过迭代的方式来寻找使得目标函数取得最小值的参数值。

leastsq方法的核心思想是不断地调整参数值，使得目标函数的误差逐渐减小。具体来说，它通过计算目标函数的梯度和海森矩阵，来确定参数值的调整方向和步长。通过不断地迭代，直到满足停止条件为止，就可以得到使得目标函数取得最小值的参数值。

在使用leastsq方法求解问题时，我们需要关注几个重要的方面。首先是目标函数的选择。目标函数应该能够准确地描述我们要拟合的曲线或者求解的方程组。其次是初始参数值的选择。初始参数值的选择对最终的结果有很大的影响。如果选择的初始参数值离最优解很远，可能会导致算法陷入局部最小值。因此，我们需要根据问题的特点和经验来选择初始参数值。最后是停止条件的选择。停止条件的选择应该能够保证算法能够在合理的时间内收敛，并且得到满意的结果。

除了上述提到的几个方面，我们还可以通过一些技巧来提高leastsq方法的求解效果。例如，可以通过数据预处理的方式来减小目标函数的误差。可以通过参数变换的方式来改变目标函数的形式，从而使得求解更加容易。还可以通过增加约束条件的方式来限制参数的取值范围，从而提高求解的稳定性。

leastsq方法是一种常用且有效的非线性最小二乘问题求解方法。通过合理选择目标函数、初始参数值和停止条件，以及运用一些求解技巧，我们可以得到满意的拟合曲线或者方程组的解。在实际应用中，我们可以根据具体问题的特点来选择合适的参数估计方法和优化算法，以获得更好的求解效果。