第4章 1_分类与决策树

第二章 模型评估与选择1.数据集包含1000个样本，其中500个正例，500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算共有多少种划分方式。

一个组合问题，从500500正反例中分别选出150150正反例用于留出法评估，所以可能取法应该是(C 500150)2。

2.数据集包含100个样本，其中正反例各一半，假定学习算法所产生的模型是将新样本预测为训练样本数较多的类别（训练样本数相同时进行随机猜测），试给出用10折交叉验证法和留一法分别对错误率进行评估所得的结果。

10折交叉检验：由于每次训练样本中正反例数目一样，所以讲结果判断为正反例的概率也是一样的，所以错误率的期望是5050%。

留一法：如果留下的是正例，训练样本中反例的数目比正例多一个，所以留出的样本会被判断是反例；同理，留出的是反例，则会被判断成正例，所以错误率是100%。

3.若学习器A 的F1值比学习器B 高，试析A 的BEP 值是否也比B 高。

4.试述真正例率（TPR ）、假正例率（FPR ）与查准率（P ）、查全率（R ）之间的联系。

查全率: 真实正例被预测为正例的比例真正例率: 真实正例被预测为正例的比例显然查全率与真正例率是相等的。

查准率:预测为正例的实例中真实正例的比例假正例率: 真实反例被预测为正例的比例两者并没有直接的数值关系。

第一章 绪论（略）机器学习（周志华）参考答案9.试述卡方检验过程。

第三章线性模型2.试证明，对于参数w，对率回归（logistics回归）的目标函数（式1）是非凸的，但其对数似然函数（式2）是凸的。

如果一个多元函数是凸的，那么它的Hessian矩阵是半正定的。

3.编程实现对率回归，并给出西瓜数据集3.0α上的结果/icefire_tyh/article/details/520688444.选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归的错误率。

/icefire_tyh/article/details/520689005.编程实现线性判别分析，并给出西瓜数据集3.0α上的结果。

习题一、选择题1 .关于k-近邻算法说法错误的是OA是机器学习B是无监督学习Ck代表分类个数Dk的选择对分类结果没有影响2 .关于k-近邻算法说法错误的是OA一般使用投票法进行分类任务Bk-近邻算法属于懒惰学习C训练时间普遍偏长D距离计算方法不同，效果也可能显著不同3 .关于决策树算法说法错误的是OA受生物进化启发B属于归纳推理C用于分类和预测D自顶向下递推4 .利用信息增益来构造的决策树的算法是OAID3决策树B递归C归约DFIFO5 .决策树构成的顺序是（）A特征选择、决策树生成、决策树剪枝B决策树剪枝、特征选择、决策树生成C决策树生成、决策树剪枝、特征选择D特征选择、决策树剪枝、决策树生成6 .朴素贝叶斯分类器属于O假设A样本分布独立B属性条件独立C后验概率已知D先验概率已知7 .支持向量机是指OA对原始数据进行采样得到的采样点B决定分类平面可以平移的范围的数据点C位于分类面上的点D能够被正确分类的数据点8 .关于支持向量机的描述错误的是OA是一种监督学习的方式B可用于多分类问题C支持非线性核函数D是一种生成式模型9 .关于k-均值算法的描述错误的是OA算法开始时，k-means算法时需要指定中心点B算法效果不受初始中心点的影响C算法需要样本与中心点之间的距离D属于无监督学习10 .k-Medoids与k-means聚类最大的区别在于（）A中心点的选择规则B距离的计算法方法C应用层面D聚类效果二、简答题1 .k-近邻算的基本思想是什么？2 .决策树的叶结点和非叶结点分别表示什么？3 .朴素贝叶斯分类器为什么是“朴素”的？4 .线性可分支持向量机的基本思想是什么？5 .核技巧是如何使线性支持向量机生成非线性决策边界的？6 .什么是聚类？聚类和分类有什么区别？7 .试举例聚类分析的应用场景,参考答案一、选择题1.D2,C3.A4.A5.D6.B7.C8.D9.B 10.A二、简答题1.请简述k・近邻算法的思想答：给定一个训练样本集合D以及一个需要进行预测的样本X：对于分类问题，k-近邻算法从所有训练样本集合中找到与X最近的k个样本，然后通过投票法选择这k个样本中出现次数最多的类别作为X的预测结果;对于回归问题,k近邻算法同样找到与X最近的k个样本,然后对这k个样本的标签求平均值，得到X的预测结果。

第二章模型评估与选择1.数据集包含1000个样本，其中500个正例，500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算共有多少种划分方式。

一个组合问题，从500500正反例中分别选出150150正反例用于留出法评估，所以可能取150)2。

法应该是(C5002.数据集包含100个样本，其中正反例各一半，假定学习算法所产生的模型是将新样本预测为训练样本数较多的类别（训练样本数相同时进行随机猜测），试给出用10折交叉验证法和留一法分别对错误率进行评估所得的结果。

10折交叉检验：由于每次训练样本中正反例数目一样，所以讲结果判断为正反例的概率也是一样的，所以错误率的期望是5050%。

留一法：如果留下的是正例，训练样本中反例的数目比正例多一个，所以留出的样本会被判断是反例；同理，留出的是反例，则会被判断成正例，所以错误率是100%。

3.若学习器A的F1值比学习器B高，试析A的BEP值是否也比B高。

4.试述真正例率（TPR）、假正例率（FPR）与查准率（P）、查全率（R）之间的联系。

查全率: 真实正例被预测为正例的比例真正例率: 真实正例被预测为正例的比例显然查全率与真正例率是相等的。

查准率:预测为正例的实例中真实正例的比例假正例率: 真实反例被预测为正例的比例两者并没有直接的数值关系。

9.试述卡方检验过程。

第三章线性模型2.试证明，对于参数w，对率回归（logistics回归）的目标函数（式1）是非凸的，但其对数似然函数（式2）是凸的。

如果一个多元函数是凸的，那么它的Hessian矩阵是半正定的。

3.编程实现对率回归，并给出西瓜数据集3.0α上的结果/icefire_tyh/article/details/520688444.选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归的错误率。

/icefire_tyh/article/details/520689005.编程实现线性判别分析，并给出西瓜数据集3.0α上的结果。

第一章机器学习概述1.机器学习研究什么问题，构建一个完整的机器学习算法需要哪些要素？机器学习主要研究如何选择统计学习模型，从大量已有数据中学习特定经验。

构建一个完整的机器学习算法需要三个方面的要素，分别是数据，模型，性能度量准则。

2.可以生成新数据的模型是什么，请举出几个例子可以生成新数据的模型是生成模型，典型的生成模型有朴素贝叶斯分类器、高斯混合模型、隐马尔可夫模型、生成对抗网络等。

3.监督学习、半监督学习和无监督学习是什么，降维和聚类属于哪一种？监督学习是指样本集合中包含标签的机器学习，无监督学习是无标签的机器学习，而半监督学习介于二者之间。

降维和聚类是无监督学习。

4.过拟合和欠拟合会导致什么后果，应该怎样避免？过拟合导致模型泛化能力弱，发生明显的预测错误，往往是由于数据量太少或模型太复杂导致，通过增加训练数据量，对模型进行裁剪，正则化的方式来缓解。

而欠拟合则会导致模型不能对数据进行很好地拟合，通常是由于模型本身不能对训练集进行拟合或者训练迭代次数太少，解决方法是对模型进行改进，设计新的模型重新训练，增加训练过程的迭代次数。

5.什么是正则化，L1正则化与L2正则化有什么区别？正则化是一种抑制模型复杂度的方法。

L1正则化能够以较大概率获得稀疏解，起到特征选择的作用，并且可能得到不止一个最优解。

L2正则化相比前者获得稀疏解的概率小的多，但得到的解更加平滑。

第二章逻辑回归与最大熵模型1.逻辑回归模型解决（B ）A.回归问题B.分类问题C.聚类问题D.推理问题2.逻辑回归属于（B ）回归A.概率性线性B.概率性非线性C.非概率性线性D.非概率性非线性3.逻辑回归不能实现（D ）A.二分类B.多分类C.分类预测D.非线性回归4.下列关于最大熵模型的表述错误的是（B ）A.最大熵模型是基于熵值越大模型越稳定的假设B.最大熵模型使用最大熵原理中一般意义上的熵建模以此缩小模型假设空间C.通过定义最大熵模型的参数可以实现与多分类逻辑回归相同的作用D.最大熵模型是一种分类算法5.下列关于模型评价指标的表述错误的是（C ）A.准确率、精确率、召回率以及AUC均是建立在混淆矩阵的基础上B.在样本不平衡的条件下准确率并不能作为很好的指标来衡量结果C.准确率表示所有被预测为正的样本中实际为正的样本的概率D.一般来说，置信度阈值越高，召回率越低，而精确率越高6.简述逻辑回归的原理。

决策树分类算法⼀、决策树原理决策树是⽤样本的属性作为结点，⽤属性的取值作为分⽀的树结构。

决策树的根结点是所有样本中信息量最⼤的属性。

树的中间结点是该结点为根的⼦树所包含的样本⼦集中信息量最⼤的属性。

决策树的叶结点是样本的类别值。

决策树是⼀种知识表⽰形式，它是对所有样本数据的⾼度概括决策树能准确地识别所有样本的类别，也能有效地识别新样本的类别。

决策树算法ID3的基本思想：⾸先找出最有判别⼒的属性，把样例分成多个⼦集，每个⼦集⼜选择最有判别⼒的属性进⾏划分，⼀直进⾏到所有⼦集仅包含同⼀类型的数据为⽌。

最后得到⼀棵决策树。

J.R.Quinlan的⼯作主要是引进了信息论中的信息增益，他将其称为信息增益（information gain），作为属性判别能⼒的度量，设计了构造决策树的递归算法。

举例⼦⽐较容易理解：对于⽓候分类问题，属性为:天⽓(A1) 取值为：晴，多云，⾬⽓温(A2) 取值为：冷，适中，热湿度(A3) 取值为：⾼，正常风 (A4) 取值为：有风，⽆风每个样例属于不同的类别，此例仅有两个类别，分别为P，N。

P类和N类的样例分别称为正例和反例。

将⼀些已知的正例和反例放在⼀起便得到训练集。

由ID3算法得出⼀棵正确分类训练集中每个样例的决策树，见下图。

决策树叶⼦为类别名，即P 或者N。

其它结点由样例的属性组成，每个属性的不同取值对应⼀分枝。

若要对⼀样例分类，从树根开始进⾏测试，按属性的取值分枝向下进⼊下层结点，对该结点进⾏测试，过程⼀直进⾏到叶结点，样例被判为属于该叶结点所标记的类别。

现⽤图来判⼀个具体例⼦，某天早晨⽓候描述为:天⽓：多云⽓温：冷湿度：正常风：⽆风它属于哪类⽓候呢?-------------从图中可判别该样例的类别为P类。

ID3就是要从表的训练集构造图这样的决策树。

实际上，能正确分类训练集的决策树不⽌⼀棵。

Quinlan的ID3算法能得出结点最少的决策树。

ID3算法：⒈对当前例⼦集合，计算各属性的信息增益；⒉选择信息增益最⼤的属性A k；⒊把在A k处取值相同的例⼦归于同⼀⼦集，A k取⼏个值就得⼏个⼦集；⒋对既含正例⼜含反例的⼦集，递归调⽤建树算法；⒌若⼦集仅含正例或反例，对应分枝标上P或N，返回调⽤处。

决策树模型的使用教程决策树模型是一种用于分类和回归分析的机器学习算法，它将数据集分成更小的子集，直到每个子集中的数据点属于同一类别或具有相似的特征。

决策树模型简单易懂，适用于处理大型数据集，并且可以解释性较好。

在本文中，我们将介绍决策树模型的基本概念、构建方法和实际应用。

1. 基本概念决策树模型由节点、边和叶子组成。

节点表示数据集中的一个特征或属性，边表示特征的取值，叶子表示数据点所属的类别或回归结果。

决策树的构建过程是一个递归的过程，从根节点开始，根据特征的取值将数据集分成更小的子集，直到满足停止条件为止。

2. 构建方法构建决策树模型的主要方法有ID3、和CART。

其中，ID3算法使用信息增益来选择特征，算法使用信息增益比来选择特征，CART算法则使用基尼系数来选择特征。

在实际应用中，通常会根据数据集的特点选择合适的算法。

3. 实际应用决策树模型在实际应用中有着广泛的应用。

例如，在医疗诊断中，可以利用决策树模型根据患者的症状和检查结果来判断疾病类型；在金融风控中，可以利用决策树模型来预测客户的信用风险；在电商推荐系统中，可以利用决策树模型根据用户的行为来推荐商品。

4. 模型评估对于决策树模型，通常会使用交叉验证来评估模型的性能，以及剪枝来避免过拟合。

此外，还可以使用AUC、准确率、召回率等指标来评估模型的性能。

5. 实现方式在实际使用中，可以使用Python的sklearn库来实现决策树模型。

首先，需要加载数据集，然后使用决策树算法来构建模型，最后使用训练好的模型对新数据进行预测。

6. 注意事项在使用决策树模型时，需要注意的是特征选择、剪枝、处理缺失值和处理过拟合等问题。

此外，在处理连续型特征时，通常会使用二分法来进行处理。

综上所述，决策树模型是一种简单且实用的机器学习算法，它在分类和回归分析中有着广泛的应用。

通过本文的介绍，相信读者对决策树模型有了更深入的了解，希望读者能够在实际应用中灵活运用决策树模型，取得更好的效果。

（⼀）《机器学习》（周志华）第4章决策树笔记理论及实现——“西⽠树”参考书籍：《机器学习》（周志华）说明：本篇内容为读书笔记，主要参考教材为《机器学习》（周志华）。

详细内容请参阅书籍——第4章决策树。

部分内容参考⽹络资源，在此感谢所有原创者的⼯作。

=================================================================第⼀部分理论基础1. 纯度（purity）对于⼀个分⽀结点，如果该结点所包含的样本都属于同⼀类，那么它的纯度为1，⽽我们总是希望纯度越⾼越好，也就是尽可能多的样本属于同⼀类别。

那么如何衡量“纯度”呢？由此引⼊“信息熵”的概念。

2. 信息熵（information entropy）假定当前样本集合D中第k类样本所占的⽐例为p k（k=1,,2,...,|y|），则D的信息熵定义为：Ent(D) = -∑k=1 p k·log2 p k （约定若p=0，则log2 p=0）显然，Ent(D)值越⼩，D的纯度越⾼。

因为0<=p k<= 1,故log2 p k<=0，Ent(D)>=0. 极限情况下，考虑D中样本同属于同⼀类，则此时的Ent(D)值为0（取到最⼩值）。

当D中样本都分别属于不同类别时，Ent(D)取到最⼤值log2 |y|.3. 信息增益（information gain）假定离散属性a有V个可能的取值{a1,a2,...,a V}. 若使⽤a对样本集D进⾏分类，则会产⽣V个分⽀结点，记D v为第v个分⽀结点包含的D中所有在属性a上取值为a v的样本。

不同分⽀结点样本数不同，我们给予分⽀结点不同的权重：|D v|/|D|, 该权重赋予样本数较多的分⽀结点更⼤的影响、由此，⽤属性a对样本集D进⾏划分所获得的信息增益定义为：Gain(D,a) = Ent(D)-∑v=1 |D v|/|D|·Ent(D v)其中，Ent(D)是数据集D划分前的信息熵，∑v=1 |D v|/|D|·Ent(D v)可以表⽰为划分后的信息熵。

决策树示例数据集1.引言1.1 概述概述：决策树是一种常用的机器学习算法，它通过对数据集进行划分来构建一个树形结构的决策模型。

决策树简单直观，易于理解和解释，并且可以处理各种类型的数据，包括离散型和连续型。

决策树的构建过程是基于对数据集特征的不断划分，每个划分都根据一个特征和一个阈值来进行。

通过不断分割数据集，每一次分割都会使得子数据集纯度提高，即同一子数据集中的数据更加相似。

而不同子数据集之间的差异也会增大，使得最终的决策树能够更好地区分不同类别的数据。

在构建决策树的过程中，有几个重要的概念需要理解。

首先是根节点，也就是最开始的节点，它包含了整个数据集。

然后是内部节点，每个内部节点都代表一个特征，并包含了相应的阈值。

通过比较输入数据的特征值和阈值，可以确定下一步应该进入哪个子节点。

最后是叶节点，它代表了决策树的答案，也就是最终的分类结果。

决策树的构建过程可以通过不同的算法来实现，包括ID3、C4.5和CART等。

这些算法在选择最佳特征和阈值时会使用不同的评估准则，以达到构建最优决策树的目标。

常见的评估准则包括信息增益、增益率和基尼系数等。

决策树在实际应用中有广泛的用途。

例如，在医疗诊断中，决策树可以根据患者的病症和病史来做出诊断决策。

在金融领域，决策树可以根据客户的个人信息和信用记录来评估其信用风险。

此外，决策树还可以用于智能推荐系统、垃圾邮件过滤和文本分类等领域。

综上所述，决策树是一种强大且灵活的机器学习算法，它能够通过对数据集的划分来构建一个可解释性强且有效的决策模型。

在实际应用中，决策树可以帮助我们做出更准确、更快速的决策，提高工作效率并减少错误的发生。

1.2文章结构文章结构部分的内容可以包括以下内容：文章结构部分是对整篇文章的组织和框架进行介绍，主要是对各个章节以及它们之间的逻辑关系进行描述。

通过明确文章的结构，读者可以更好地理解文章的内容和脉络。

在本文中，文章结构部分可以包括以下内容。

2023年智慧树知道网课《机器学习》课后章节测试满分答案第一章简介1. 机器研究是一门研究如何使计算机模仿人类研究能力的学科。

2. 机器研究算法可以分为监督研究、无监督研究和强化研究三种类型。

3. 监督研究的目标是根据已经标记的数据来进行预测或分类。

4. 无监督研究的目标是从未标记的数据中发现模式或结构。

5. 强化研究是通过试错来研究，通过与环境进行交互来优化决策策略。

第二章监督研究2. 常用的监督研究算法有线性回归、逻辑回归和决策树等。

3. 线性回归用于建立输入特征与输出标签之间的线性关系。

4. 逻辑回归用于进行二分类或多分类任务。

5. 决策树是一种通过一系列特征判断来进行分类的算法。

第三章无监督研究1. 无监督研究是一种从未标记的数据中发现模式或结构的研究方法。

2. 常见的无监督研究算法有聚类和降维。

3. 聚类算法根据样本的相似性将其分为不同的类别。

4. 降维算法可以将高维数据映射到低维空间，减少数据的维度。

第四章强化研究1. 强化研究是一种通过与环境进行交互来研究的方法。

2. 在强化研究中，智能体通过观察环境的状态、采取行动和获得奖励来研究最优策略。

3. 常用的强化研究算法有Q-learning和深度强化研究等。

4. Q-learning是一种经典的强化研究算法，用于解决马尔可夫决策问题。

5. 深度强化研究结合了深度研究和强化研究的技术，可以在复杂环境中研究最优策略。

以上为《机器学习》课后章节测试满分答案，希望能对大家的学习有所帮助。