回归直线方程的另一推导

回归直线方程公式详解及例题

回归直线方程，听起来是不是有点严肃？这玩意儿就像是数学里的“小白兔”，看起来很复杂，但其实乍一看也不过是个简单的小家伙。让咱们聊聊这个直线方程的由来，还有怎么用它解决问题。说白了，就是用一条直线把一堆数据给“牵”起来，让我们看清楚它们之间的关系。就像在赶集一样，把各种水果摆成一排，想要了解哪个最受欢迎。这里，最常见的回归直线方程是y = mx + b。听起来不算复杂吧？不过咱们慢慢来，不急。

y代表咱们要预测的东西，比如说，你想知道你的成绩和学习时间的关系，那y就可以是你的成绩；x就是你花在学习上的时间。m，这个家伙叫做斜率，表示的是y和x之间的关系，简单来说就是学习时间每增加一个小时，成绩大概能提高多少分。b则是当你啥都不做时，你的成绩是多少，这个也很重要，没错，人生不就是这么回事吗？

想象一下，拿出一根铅笔和一张纸，把这些点点画出来。每个点就代表了一次测量，比如说你在不同时间学习的成绩。画得可真像一幅抽象画，虽然一开始没法看出什么，但如果仔细一看，就能发现某种趋势。这就是回归分析的魔力，它能帮你找到这些点之间的规律。慢慢地，这些点就会聚成一条线，给你展示出学习时间和成绩之间的关系。

再来聊聊如何计算这些参数。有很多软件和工具可以帮你做这些。但如果你想亲自尝试，手动计算也是个不错的选择。先得算出这些数据的平均值，接着用这些平均值来计算m和b。想象一下，m的计算就像是在算你朋友圈里哪个小伙伴总是抢着买单。搞定这些，y = mx + b就能顺利出炉了。

说到这里，有些小伙伴可能会想，回归直线到底有什么用呢？这玩意儿其实是个超有用的工具。比如说，商家可以用它预测销量，学校可以分析成绩趋势，甚至天气预报

也会用到。想想看，如果你知道晴天和下雨天的概率，你是不是就能提前决定穿哪双鞋？这不就是让生活更简单吗？

回归直线也有它的局限性。毕竟，生活可不是总那么简单。数据点就像是小孩子一样顽皮，根本不愿意听话，完全不按常理出牌。要知道，生活中很多事情都是复杂的，多元回归模型也许更适合。这就像调味料，做菜时你总得根据口味调配一下，才能做出美味的佳肴。

线性回归——正规方程推导过程

线性回归——正规方程推导过程

我们知道线性回归中除了利用梯度下降算法来求最优解之外，还可以通过正规方程的形式来求解。

首先看到我们的线性回归模型：

f(xi)=wTxif(x_i)=w^Tx_if(xi?)=wTxi? 其中

w=(w0w1.wn)w=begin{pmatrix}w_0w_1.w_nend{pmatrix}w=?w0?w1?.wn?，

xi=(x0x1.xn)x_i=begin{pmatrix}x_0x_1.x_nend{pmatrix}xi?=?x0

x1.xn，m表示样本数，n是特征数。 然后我们的代价函数(这里使用均方误差)：

J(w)=∑i=1m(f(xi)?yi)2J(w)=sum_{i=1}^m(f(x_i)-y_i)^2J(w)=i=1∑m?(f(xi?)?yi?)2

接着把我的代价函数写成向量的形式：

J(w)=(Xw?y)T(Xw?y)J(w)=(Xw-y)^T(Xw-y)J(w)=(Xw?y)T(Xw?y) 其中

X=(1x11x12?x1n1x21x22?x2n?1xm1xm2?xmn)X=begin{pmatrix} 1 x_{11} x_{12} cdots x_{1n}

1 x_{21} x_{22} cdots x_{2n}

vdots vdots vdots ddots vdots 1 x_{m1} x_{m2} cdots x_{mn}

end{pmatrix}X=?11?1?x11?x21?xm1?x12?x22?xm2?x1n?x2n?xmn?

最后我们对w进行求导，等于0，即求出最优解。在求导之前，先补充一下线性代数中矩阵的知识：

1.左分配率：A(B+C)=AB+ACA(B+C) = AB+ACA(B+C)=AB+AC；右分

配率：(B+C)A=BA+CA(B+C)A = BA + CA(B+C)A=BA+CA 2.转置和逆：

回归直线方程b尖的公式推导

最小二乘法是一种常用的回归分析方法，它的目标是找到最小化误差平方和的回归直线。首先，我们定义误差e_i为观测值y_i和回归预测值\hat{y_i}之间的差异，即e_i = y_i - \hat{y_i}。

1.求解斜率m：

斜率m可以通过计算协方差cov(X, Y)除以X的方差var(X)来得到，即m = cov(X, Y) / var(X)。其中，X和Y分别是自变量和因变量，cov(X, Y)是X和Y的协方差，var(X)是X的方差。

2.求解截距b：

截距b可以通过计算Y的平均值减去斜率m乘以X的平均值来得到，即b = mean(Y) - m 某 mean(X)。其中，mean(Y)是Y的平均值，mean(X)是X的平均值。

通过以上两个方程，我们可以得到回归直线方程y=m某+b的斜率m和截距b。这样就完成了回归直线方程b的公式推导。

需要注意的是，在实际应用中，我们通常会使用统计软件或计算工具来进行回归分析和参数估计。这些工具会自动计算回归直线方程的斜率和截距，从而避免了手动推导的繁琐过程。

总结起来，回归直线方程b的公式可以通过最小二乘法计算得到。我们先计算回归直线的斜率m，然后利用斜率m、自变量X的平均值和因变量Y的平均值来计算截距b。这样就得到了回归直线方程y=m某+b中的斜率m和截距b。

线性回归方程推导

理论推导

机器学习所针对的问题有两种：一种是回归，一种是分类。回归

是解决连续数据的预测问题，而分类是解决离散数据的预测问题。线

性回归是一个典型的回归问题。其实我们在中学时期就接触过，叫最

小二乘法。

线性回归试图学得一个线性模型以尽可能准确地预测输出结

果。?

先从简单的模型看起：?

首先，我们只考虑单组变量的情况，有：?使得?

假设有m个数据，我们希望通过x预测的结果f(x)来估计y。其

中w和b都是线性回归模型的参数。?

为了能更好地预测出结果，我们希望自己预测的结果f(x)与y

的差值尽可能地小，所以我们可以写出代价函数（cost function）

如下：?

接着代入f(x)的公式可以得到：?

不难看出，这里的代价函数表示的是预测值f(x)与实际值y之

间的误差的平方。它对应了常用的欧几里得距离简称“欧氏距离”。

基于均方误差最小化来求解模型的方法我们叫做“最小二乘法”。在

线性回归中，最小二乘法实质上就是找到一条直线，使所有样本数据

到该直线的欧式距离之和最小，即误差最小。? 我们希望这个代价函数能有最小值，那么就分别对其求w和b的

偏导，使其等于0，求解方程。?

先求偏导，得到下面两个式子：?

很明显，公式中的参数m，b，w都与i无关，简化时可以直接提

出来。?

另这两个偏导等于0：?

求解方程组，解得：?

这样根据数据集中给出的x和y，我们可以求出w和b来构建简

单的线性模型来预测结果。

接下来，推广到更一般的情况：?

我们假设数据集中共有m个样本，每个样本有n个特征，用X矩

阵表示样本和特征，是一个m×n的矩阵：?

用Y矩阵表示标签，是一个m×1的矩阵：?

为了构建线性模型，我们还需要假设一些参数：?

（有时还要加一个偏差（bias）也就是， 为了推导方便没加，实

际上结果是一样的）

好了，我们可以表示出线性模型了：?

h(x)表示假设，即hypothesis。通过矩阵乘法，我们知道结果