第六章机器学习

《机器学习》西⽠书习题第6章习题6.1 试证明样本空间中任意点 \(\boldsymbol{x}\) 到超平⾯ \((\boldsymbol{w}, b)\) 的距离为式 \((6.2)\) . 设超平⾯为 \(\ell(\boldsymbol{w}, b)\) , \(\boldsymbol{x}\) 在 \(\ell\) 上的投影为 \(\boldsymbol{x_0}\) , 离超平⾯的距离为 \(r\) . 容易得\[\boldsymbol{w}\perp \ell \]\[\boldsymbol{x} = \boldsymbol{x_0} + r\frac{\boldsymbol{w}}{||\boldsymbol{w}||} \]\[\boldsymbol{w}^\mathrm{T}\boldsymbol{x_0} + b = 0 \]则有\[\boldsymbol{x_0} = \boldsymbol{x} - r\frac{\boldsymbol{w}}{||\boldsymbol{w}||} \]\[\begin{aligned} \boldsymbol{w}^\mathrm{T}(\boldsymbol{x} - r\frac{\boldsymbol{w}}{||\boldsymbol{w}||}) + b &= 0\\ \boldsymbol{w}^\mathrm{T}\boldsymbol{x} -r\frac{\boldsymbol{w}^\mathrm{T}\boldsymbol{w}}{||\boldsymbol{w}||} + b &= 0\\ \boldsymbol{w}^\mathrm{T}\boldsymbol{x} - r\frac{||\boldsymbol{w}||^2}{||\boldsymbol{w}||} + b &= 0\\ \boldsymbol{w}^\mathrm{T}\boldsymbol{x} + b &= r\frac{||\boldsymbol{w}||^2}{||\boldsymbol{w}||}\\ \end{aligned}\]即得\[r = \frac{\boldsymbol{w}^\mathrm{T}\boldsymbol{x} + b}{||\boldsymbol{w}||} \]由于距离是⼤于等于 \(0\) 的, 所以结果再加上绝对值\[r = \frac{\left|\boldsymbol{w}^\mathrm{T}\boldsymbol{x} + b\right|}{||\boldsymbol{w}||}\tag{6.2} \]6.2 试使⽤ \(\mathrm{LIBSVM}\) , 在西⽠数据集 \(3.0\alpha\) 上分别⽤线性核和⾼斯核训练⼀个 \(\mathrm{SVM}\) , 并⽐较其⽀持向量的差别.6.3 选择两个 \(\mathrm{UCI}\) 数据集, 分别⽤线性核和⾼斯核训练⼀个 \(\mathrm{SVM}\) , 并与 \(\mathrm{BP}\) 神经⽹络和 \(\mathrm{C4.5}\) 决策树进⾏实验⽐较.6.4 试讨论线性判别分析与线性核⽀持向量机在何种条件下等价. 线性判别分析能够解决 \(n\) 分类问题, ⽽ \(\mathrm{SVM}\) 只能解决⼆分类问题, 如果要解决 \(n\) 分类问题要通过 \(\mathrm{OvR(One\ vs\ Rest)}\) 来迂回解决. 线性判别分析能将数据以同类样例间低⽅差和不同样例中⼼之间⼤间隔来投射到⼀条直线上, 但是如果样本线性不可分, 那么线性判别分析就不能有效进⾏, ⽀持向量机也是. 综上, 等价的条件是:数据有且仅有 2 种, 也就是说问题是⼆分类问题.数据是线性可分的.6.5 试述⾼斯核 \(\mathrm{SVM}\) 与 \(\mathrm{RBF}\) 神经⽹络之间的联系. 实际上都利⽤了核技巧, 将原来的数据映射到⼀个更⾼维的空间使其变得线性可分.6.6 试析 \(\mathrm{SVM}\) 对噪声敏感的原因. \(\mathrm{SVM}\) 的特性就是 "⽀持向量" . 即线性超平⾯只由少数 "⽀持向量" 所决定. 若噪声成为了某个 "⽀持向量" —— 这是⾮常有可能的. 那么对整个分类的影响是巨⼤的.反观对率回归, 其线性超平⾯由所有数据共同决定, 因此⼀点噪声并⽆法对决策平⾯造成太⼤影响.6.7 试给出试 \((6,52)\) 的完整 \(\mathrm{KKT}\) 条件.\(\mathrm{KKT}\) 条件:\[\begin{cases} \xi_i \geqslant 0\\ \hat{\xi}_i \geqslant 0\\ f(\boldsymbol{x}_i) - y_i - \epsilon - \xi_i \leqslant 0\\ y_i - f(\boldsymbol{x}_i) - y_i - \epsilon - \hat{\xi}_i \leqslant 0\\ \mu_i\geqslant 0\\ \hat{\mu}_i \geqslant 0\\ \alpha_i \geqslant 0\\ \hat{\alpha}_i \geqslant 0\\ \mu_i\xi_i = 0\\ \hat{\mu}_i\hat{\xi}_i = 0\\ \alpha_i(f(\boldsymbol{x}_i) - y_i - \epsilon - \xi_i) = 0\\ \hat{\alpha}_i(y_i - f(\boldsymbol{x}_i) - y_i - \epsilon - \hat{\xi}_i) = 0 \end{cases}\]6.8 以西⽠数据集 \(3.0\alpha\) 的 "密度" 为输⼊, "含糖率" 为输出, 试使⽤ \(\mathrm{LIBSVM}\) 训练⼀个 \(\mathrm{SVR}\).6.9 试使⽤核技巧推⼴对率回归, 产⽣ "核对率回归" . 可以发现, 如果使⽤対率损失函数 \(\ell_{log}\) 来代替式 \((6.29)\) 中的 \(0/1\) 损失函数, 则⼏乎就得到了対率回归模型 \((3.27)\) . 我们根据原⽂, 将损失函数换成 \(\ell_{log}\), 再使⽤核技巧, 就能实现 "核対率回归" .6.10* 试设计⼀个能显著减少 \(\mathrm{SVM}\) 中⽀持向量的数⽬⽽不显著降低泛化性能的⽅法. 可以将⼀些冗余的⽀持向量去除到只剩必要的⽀持向量. ⽐如在⼆维平⾯, 只需要 \(3\) 个⽀持向量就可以表达⼀个⽀持向量机, 所以我们将⽀持向量去除到只剩 \(3\) 个.更⼴泛的情况是, 若是 \(n\) 维平⾯, 那么只需要 \(n + 1\) 个⽀持向量就能表达⼀个⽀持向量机.资料推荐。

机器学习ppt课件contents •机器学习概述•监督学习算法•非监督学习算法•神经网络与深度学习•强化学习与迁移学习•机器学习实践案例分析目录01机器学习概述03重要事件包括决策树、神经网络、支持向量机等经典算法的提出，以及深度学习在语音、图像等领域的突破性应用。

01定义机器学习是一门研究计算机如何从数据中学习并做出预测的学科。

02发展历程从符号学习到统计学习，再到深度学习，机器学习领域经历了多次变革和发展。

定义与发展历程计算机视觉自然语言处理推荐系统金融风控机器学习应用领域用于图像识别、目标检测、人脸识别等任务。

根据用户历史行为推荐相似或感兴趣的内容。

用于文本分类、情感分析、机器翻译等任务。

用于信贷审批、反欺诈、客户分群等场景。

A BC D机器学习算法分类监督学习包括线性回归、逻辑回归、决策树、随机森林等算法，用于解决有标签数据的预测问题。

半监督学习结合监督学习和无监督学习的方法，利用部分有标签数据进行训练。

无监督学习包括聚类、降维、异常检测等算法，用于解决无标签数据的探索性问题。

强化学习通过与环境交互来学习策略，常用于游戏AI 、自动驾驶等领域。

02监督学习算法线性回归与逻辑回归线性回归一种通过最小化预测值与真实值之间的均方误差来拟合数据的算法，可用于预测连续型变量。

逻辑回归一种用于解决二分类问题的算法，通过sigmoid函数将线性回归的输出映射到[0,1]区间，表示样本属于正类的概率。

两者联系与区别线性回归用于回归问题，逻辑回归用于分类问题；逻辑回归在线性回归的基础上引入了sigmoid函数进行非线性映射。

支持向量机（SVM）SVM原理SVM是一种二分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略是使间隔最大化，最终可转化为一个凸二次规划问题的求解。

核函数当数据在原始空间线性不可分时，可通过核函数将数据映射到更高维的特征空间，使得数据在新的特征空间下线性可分。

SVM优缺点优点包括在高维空间中有效、在特征维度高于样本数时依然有效等；缺点包括对参数和核函数的选择敏感、处理大规模数据效率低等。

机器学习原理教案第一章：机器学习概述1.1 课程简介本课程旨在介绍机器学习的基本概念、原理和主要算法，帮助学生了解机器学习在领域的应用和发展。

通过学习，学生将掌握机器学习的基本理论，具备运用机器学习算法解决实际问题的能力。

1.2 教学目标（1）了解机器学习的定义、发展历程和分类；（2）掌握监督学习、无监督学习和强化学习的基本概念；（3）了解机器学习的主要应用领域。

1.3 教学内容（1）机器学习的定义和发展历程；（2）机器学习的分类；（3）监督学习、无监督学习和强化学习的基本概念；（4）机器学习的主要应用领域。

1.4 教学方法采用讲授、案例分析和讨论相结合的教学方法，引导学生了解机器学习的基本概念，掌握各类学习的特点及应用。

1.5 教学资源（1）教材：《机器学习》；（2）课件；（3）网络资源。

1.6 教学评价通过课堂讨论、课后作业和小组项目等方式，评估学生对机器学习基本概念的理解和应用能力。

第二章：监督学习2.1 课程简介本章介绍监督学习的基本原理和方法，包括线性回归、逻辑回归、支持向量机等经典算法。

通过学习，学生将掌握监督学习的基本概念，了解不同算法的特点及应用。

2.2 教学目标（1）掌握监督学习的定义和特点；（2）了解线性回归、逻辑回归和支持向量机等基本算法；（3）学会运用监督学习算法解决实际问题。

2.3 教学内容（1）监督学习的定义和特点；（2）线性回归算法；（3）逻辑回归算法；（4）支持向量机算法；（5）监督学习在实际问题中的应用。

2.4 教学方法采用讲授、案例分析和上机实践相结合的教学方法，让学生深入了解监督学习的基本原理，熟练掌握相关算法。

2.5 教学资源（1）教材：《机器学习》；（2）课件；（3）上机实验教材；（4）网络资源。

2.6 教学评价通过上机实验、课后作业和课堂讨论等方式，评估学生对监督学习算法理解和应用能力。

第三章：无监督学习3.1 课程简介本章介绍无监督学习的基本原理和方法，包括聚类、降维等关键技术。

第六章DEM精度分析在机器学习中，评估模型的性能是非常重要的。

在深度学习中，一个常用的评估指标是DEM（Digital Elevation Model）的精度。

DEM是描述地表高程变化的地理数据模型，可以用于地形分析、水文模拟、地理信息系统等领域。

DEM精度分析的目的是评估DEM数据的准确性，确定DEM数据的可靠性，并帮助选择合适的DEM数据应用。

DEM精度分析通常包括以下几个方面：1.垂直精度分析：垂直精度是指DEM数据的高程值与实际地面高程之间的差异。

垂直精度分析可以通过与实地测量数据进行对比来进行。

实地测量可以使用GPS仪器、全站仪等设备进行，同时需要注意选择具有代表性的样本点进行测量。

通过对比DEM数据和实地测量数据的差异，可以评估DEM数据的垂直精度。

2.水平精度分析：水平精度是指DEM数据的X、Y坐标值与实际地面位置之间的差异。

水平精度可以通过DEM数据间的比对来进行，比如将不同分辨率的DEM数据进行比对，或者将DEM数据与其他地理信息数据进行叠加分析。

通过比对不同数据源的DEM数据，可以评估DEM数据的水平精度。

3.分辨率分析：分辨率是指DEM数据中每个像素所代表的地面面积的大小。

分辨率越高，每个像素所代表的地面面积越小，DEM数据的细节程度越高。

分辨率分析可以通过观察DEM数据的细节来进行，比如通过DEM 数据的等高线图、坡度图等来观察DEM数据的细节表达能力。

通过对DEM 数据的分辨率进行分析，可以根据应用需求选择合适的DEM数据。

4.精度误差分析：精度误差是指DEM数据在采集、处理、转换过程中产生的误差。

精度误差分析可以通过DEM数据的元数据来进行，元数据包括DEM数据的采集时间、处理方法、水平精度等信息。

通过对DEM数据的精度误差进行分析，可以评估DEM数据的可靠性。

DEM精度分析是一个非常复杂的过程，需要综合运用地理信息系统、遥感技术、测绘技术等多种手段进行。

在实际应用中，DEM精度分析可以作为评估DEM数据质量、选择合适DEM数据、优化DEM处理方法的重要依据。