下载文档原格式
最小二乘法基本原理：成对等精度测得一组数据，试找出一条最佳的拟合曲线，使得这条曲线上的各点值与测量值的平方和在所有的曲线中最小。
我们用最小二乘法拟合三次多项式。
最小二乘法又称曲线拟合，所谓的“拟合”就是不要求曲线完全通过所有的数据点，只要求所得的曲线反映数据的基本趋势。
曲线的拟合几何解释：求一条曲线，使所有的数据均在离曲线的上下不远处。
第一节 最小二乘法的基本原理和多项式拟合 一最小二乘法的基本原理从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差i i i y x p r -=)((i=0,1,…,m)常用的方法有以下三种：一是误差i i i y x p r -=)((i=0,1,…,m)绝对值的最大值im i r ≤≤0max ，即误差 向量T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=mi ir 0，即误差向量r 的1—范数；三是误差平方和∑=mi ir02的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=mi ir02来 度量误差i r (i=0，1，…，m)的整体大小。
数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即∑=m i ir 02=[]∑==-mi ii y x p 02min)(从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最小的曲线)(x p y =（图6-1）。
函数)(x p 称为拟合 函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。
Φ可有不同的选取方法.6—1二多项式拟合假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一Φ∈=∑=nk k k n x a x p 0)(,使得[]min )(00202=⎪⎭⎫⎝⎛-=-=∑∑∑===mi mi n k i k i k i i n y x a y x p I (1)当拟合函数为多项式时，称为多项式拟合，满足式（1）的)(x p n 称为最小二乘拟合多项式。
高中数学最小二乘法最小二乘法是一种常用的统计学方法，通常应用于数据拟合。
在高中数学中，最小二乘法主要用于线性回归分析，即寻找一条直线来拟合一组数据点。
假设有一组数据 $(x_1,y_1),(x_2,y_2),cdots,(x_n,y_n)$，我们希望找到一条直线 $y = ax + b$，使得这条直线与这些数据点的误差平方和最小。
换句话说，就是让这条直线尽可能地接近这些数据点。
假设直线 $y = ax + b$ 与数据点 $(x_i,y_i)$ 的误差为 $e_i$，则有：$$e_i = y_i - (ax_i + b)$$将所有数据点的误差平方和表示出来，可以得到：$$sum_{i=1}^n e_i^2 = sum_{i=1}^n(y_i - (ax_i + b))^2$$ 我们的目标是使得上式的值最小，因此需要对 $a$ 和 $b$ 分别求偏导数并令其为0，得到：$$begin{cases}frac{partial}{partial a}sum_{i=1}^n e_i^2 = 0 frac{partial}{partial b}sum_{i=1}^n e_i^2 = 0end{cases}$$ 将上式展开并整理可得到：$$begin{cases}displaystylesum_{i=1}^n x_i(y_i - ax_i - b) = 0displaystylesum_{i=1}^n(y_i - ax_i - b) = 0end{cases}$$ 解出 $a$ 和 $b$ 即可得到最小二乘法的结果，即：$$a = frac{displaystyle nsum_{i=1}^nx_iy_i -sum_{i=1}^nx_isum_{i=1}^ny_i}{displaystyle nsum_{i=1}^nx_i^2 - (sum_{i=1}^nx_i)^2}$$$$b = frac{displaystyle sum_{i=1}^ny_i - asum_{i=1}^nx_i}{n}$$这就是高中数学中最小二乘法的基本原理和公式。
2015考研数学基础阶段学习计划（数二）考研数学一般考察考生的基础知识的掌握和运用解题的能力。
数学的复习需要一步一步的积累知识、循序渐进地完全掌握。
学好考研数学，务必要夯实基础。
在此，建议您在6月底之前前完成基础阶段的学习，3月份之前主要是以教材、零基础入门课程为主，把教材上的习题做一遍，然后3月份——6月份把基础课程学习一遍，以便于后面的强化、冲刺。
根据考研数学中高数、线代所占分值的不同，对不同章节确定了合理的学习时间。
复习计划使用说明：(1) 计划里明确了每章节的重难点，以及不需要掌握的内容也已经指明，后面备有考纲规定的考试内容，同学们要根据大纲要求合理学习知识点。
(2) 同学们在学习的时候如果有条件一定要和你周围的同学、老师多交流学习心得。
只有你总结出来的方法才是最适合你的方法。
(3) 同学们在学习的过程中难免会遇到一些疑难问题、做错的题目，一定要在第一时间把它整理到你的笔记本里，并到名师堂提问。
本阶段主要复习资料是大学教材，包括高等数学、线性代数，如果手头没有这几本书，推荐购买：《高等数学》同济第六版上下册；《工程数学线性代数》同济第五版。
学习课程：高等数学零基础入门（一元函数微积分学）、线性代数零基础入门（线代基础）高等数学基础、线性代数基础说明：听课之前一定要复习过一遍教材，这样在听课的时候才能抓住重点。
零基础入门课程所讲内容是考研数学最基础，也是最重要的部分，其中包括了与考研数学紧密联系的部分高中知识，如三角函数等。
数学的学习是一个循序渐进、由浅入深的过程，夯实基础尤为关键，之后的学习才能达到事半功倍的效果。
建议先学习零基础入门课程，然后再学习基础课程。
学习顺序：教材与零基础入门课程同步进行，之后学习基础课程。
复习教材的时候先复习高等数学内容，高等数学是基础，然后再复习线性代数。
过完一轮教材之后跟着我们的课程再学习一遍。
注意：预习内容时，请参考考试大纲的考试内容（最后一列）预习。
考试大纲不要的章节内容不用看。
最小二乘法1：最小二乘法的原理与要解决的问题最小二乘法是由勒让德在19世纪发现的，形式如下式：标函数 = \sum（观测值-理论值）^2\\观测值就是我们的多组样本，理论值就是我们的假设拟合函数。
目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。
举一个最简单的线性回归的简单例子，比如我们有 m 个只有一个特征的样本： (x_i, y_i)(i=1, 2, 3...,m)样本采用一般的 h_{\theta}(x) 为 n 次的多项式拟合，h_{\theta}(x)=\theta_0+\theta_1x+\theta_2x^2+...\theta _nx^n,\theta(\theta_0,\theta_1,\theta_2,...,\theta_n) 为参数最小二乘法就是要找到一组\theta(\theta_0,\theta_1,\theta_2,...,\theta_n) 使得\sum_{i=1}^n(h_{\theta}(x_i)-y_i)^2 (残差平方和) 最小，即，求 min\sum_{i=1}^n(h_{\theta}(x_i)-y_i)^22 ：最小二乘法的矩阵法解法最小二乘法的代数法解法就是对 \theta_i 求偏导数，令偏导数为0，再解方程组，得到 \theta_i 。
矩阵法比代数法要简洁，下面主要讲解下矩阵法解法，这里用多元线性回归例子来描：假设函数h_{\theta}(x_1,x_2,...x_n)=\theta_0+\theta_1x_1+...+\t heta_nx_n 的矩阵表达方式为：h_{\theta}(\mathbf{x})=\mathbf{X}\theta\\其中，假设函数 h_{\theta}(\mathbf{x})=\mathbf{X}\theta 为 m\times1 的向量, \theta 为 n\times1 的向量，里面有 n 个代数法的模型参数。
