非线性回归模型的线性化优秀课件

• 常用的过滤方法包括皮 尔逊相关系数、方差分 析和卡方检验等。
封装式
• 基于模型的错误率和复 杂性进行特征选择。
• 常用的封装方法包括递 归特征消除法和遗传算 法等。
嵌入式
• 特征选择和模型训练同 时进行。
• 与算法结合在一起的特 征选择方法，例如正则 化（Lasso、Ridge）。
数据处理方法：缺失值填充、异常值 处理等
1
网格搜索
通过预定义的参数空间中的方格进行搜
随机搜索
2
索。
在预定义的参数空间中进行随机搜索。
3
贝叶斯调参
使用贝叶斯优化方法对超参数进行优化。
集成学习在非线性回归中的应用
集成学习是一种将若干个基学习器集成在一起以获得更好分类效果的方法，也可以用于非线性回归建模中。
1 堆叠
使用多层模型来组成一个 超级学习器，每个模型继 承前一模型的输出做为自 己的输入。
不可避免地存在数据缺失、异常值等问题，需要使用相应的方法对其进行处理。这是非线性回归 分析中至关重要的一环。
1 缺失值填充
常见的方法包括插值法、代入法和主成分分析等。
2 异常值处理
常见的方法包括删除、截尾、平滑等。
3 特征缩放和标准化
为了提高模型的计算速度和准确性，需要对特征进行缩放和标准化。
偏差-方差平衡与模型复杂度
一种广泛用于图像识别和计算机 视觉领域的神经网络。
循环神经网络
一种用于处理序列数据的神经网 络，如自然语言处理。
sklearn库在非线性回归中的应用
scikit-learn是Python中最受欢迎的机器学习库之一，可以用于非线性回归的建模、评估和调参。
1 模型建立
scikit-learn提供各种非线 性回归算法的实现，如 KNN回归、决策树回归和 支持向量机回归等。

k 1 beatut yt
k 1 beatut yt
ln
k yt
1
ln b at
ut
令yt
ln
k yt
1
,
b
ln b
yt b at ut
此时可用最小二乘法估计b*和a。
钉螺存活率曲线 （生长曲线模型）
把一批钉螺埋入土中，以后每隔一个月取出部分钉螺，检 测存活个数，计算存活率。数据见表。
FOOD
3000
2000
1000
0 0
4000
8000
12000
INCOME 16000 20000
9.0 LOG(FOOD)
8.5
8.0
7.5
7.0
6.5
6.0 LOG(LOG(INCOME))
5.5 1.80 1.85 1.90 1.95 2.00 2.05 2.10 2.15 2.20 2.25 2.30
以1为例
1
yt xt1
线性模型中的回归系数（边际系数）是对数线性回归模型中弹性
系数的一个分量。
应用柯布-道格拉斯生产函数模型评价台湾省农业生产 效率。利用台湾省1958-1972年农业生产总值yt、劳动力 投入xt1、资本投入xt2的数据估计模型如下：
Yˆt
0.035X
1.5 t1
X
0.49 t2
yt ke be at
yt ke be at
曲线的上限和下限分别为k和0 。
当a 0, Limyt k, 当a 0,b 0 , Limyt 0
t
t
曲线有拐点，坐标为 Lnb , k
a e
, 但曲线不对称于拐点。
一般情形，上限值k可事先估计，有了k值，龚伯斯曲线才 可以用最小二乘法估计参数。

应接近于零。
因此，拉格朗日乘数检验就是检验某些拉格朗日乘
数的值是否“足够大”，如果“足够大”，则拒绝
约束条件为真的假设。
检验思路：
H0:Y12X2 kmXkmu(有约束条 ) 件模型 H1:Y12X2 kmXkm kXku(无约束条件)
对于非约束的极大 估似 计然 量 UR,有LUnRL0. 若约束条件成 ，则 立施加约束条件 的下 极大似然估计量
但最终的极大似然 量估 都计 是一致的和
渐近有效。的
二、非线性约束 似然比检验和拉格朗日乘数检验
这两种检验所用统计量都是基于极大似然 估计法的计算,可用于检验数据是否支持某些参 数限制条件。
二、非线性约束
当对模型 Y 0 1 X 1 2 X 2 k X k
施加非线性约束12=1,得到受约束回归模型:
Yf(X1,X2, Xk,10 ,20 , p0)i p1i0(fi)|0
p f
i1
i(i)|0
u
f
一组令新左的边自为变一量个，新(的1因,变2,量 ，右p)边为未(知i )参|数0为，
则原模型转化成线性模型，可以用普通最小二乘
法来估计这些参数。
将(1,2,p)的第一次估计(值 11,记 21, 为p1),
对非线性约束，沃尔德统计量W的算法描述要复杂得多。
3、拉格朗日乘数检验（LM）
• 与W检验不同的是拉格朗日（Lagrange） 乘数（LM）检验只需估计约束模型。所以 当施加约束条件后模型形式变得简单时， 更适用于这种检验。LM检验是由艾奇逊— 西尔维（Aitchison-Silvey 1960）提出的。
首先，用OLS法估计约束模型，计算残差序列
e ty tˆ1ˆ2 x 2 t ˆqx qt

2．在两个变量y与x的回归模型中，分别选择了4个不同的模型，它
们的决定系数R2如下，其中拟合效果最好的模型是(
2为0.98
A．模型1的决定系数R
√
B．模型2的决定系数R2为0.80
C．模型3的决定系数R2为0.50
D．模型4的决定系数R2为0.25
A
[R2越大拟合效果越好．]
)
3．从某省“双一流”大学中随机选出8名女大学生，得到其身高
残差图
观测值等，这样作出的图形称为______．在残差图中，残差点比较
均匀地落在水平的带状区域中，说明选用的模型比较合适，这样的
带状区域的宽度____，说明模型拟合精度越高．
越窄
残差
(3)残差分析：____是随机误差的估计结果，通过对残差的分析可以
判断模型刻画数据的效果，以及判断原始数据中是否存在可疑数据
建立两个变量间的非线性经验回归方程．
1．思考辨析(正确的画“√”，错误的画“×”)
(1)残差平方和越接近0，线性回归模型的拟合效果越好．
(√ )
(2)在画两个变量的散点图时，响应变量在x轴上，解释变量在y轴
上．
( × )
(3)R2越小，线性回归模型的拟合效果越好．
( × )
(4)在残差图中，纵坐标为残差，横坐标可以选为样本编号．( √ )
和幂函数模型的求解过程．(数学运算、数学建模)
01
必备知识·
情境导学探新知
设某幼苗从观察之日起，第x天的高度为y cm，测得的一些数据如表
所示：
第x天
1
4
9
16
25
36
49
高度y/cm
0
4
7
9