下载文档原格式
第二章 模型评估与选择1.数据集包含1000个样本，其中500个正例，500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算共有多少种划分方式。
一个组合问题，从500500正反例中分别选出150150正反例用于留出法评估，所以可能取法应该是(C 500150)2。
2.数据集包含100个样本，其中正反例各一半，假定学习算法所产生的模型是将新样本预测为训练样本数较多的类别（训练样本数相同时进行随机猜测），试给出用10折交叉验证法和留一法分别对错误率进行评估所得的结果。
10折交叉检验：由于每次训练样本中正反例数目一样，所以讲结果判断为正反例的概率也是一样的，所以错误率的期望是5050%。
留一法：如果留下的是正例，训练样本中反例的数目比正例多一个，所以留出的样本会被判断是反例；同理，留出的是反例，则会被判断成正例，所以错误率是100%。
3.若学习器A 的F1值比学习器B 高，试析A 的BEP 值是否也比B 高。
4.试述真正例率（TPR ）、假正例率（FPR ）与查准率（P ）、查全率（R ）之间的联系。
查全率: 真实正例被预测为正例的比例真正例率: 真实正例被预测为正例的比例显然查全率与真正例率是相等的。
查准率:预测为正例的实例中真实正例的比例假正例率: 真实反例被预测为正例的比例两者并没有直接的数值关系。
第一章 绪论（略）机器学习（周志华）参考答案9.试述卡方检验过程。
第三章线性模型2.试证明，对于参数w，对率回归（logistics回归）的目标函数（式1）是非凸的，但其对数似然函数（式2）是凸的。
如果一个多元函数是凸的，那么它的Hessian矩阵是半正定的。
3.编程实现对率回归，并给出西瓜数据集3.0α上的结果/icefire_tyh/article/details/520688444.选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归的错误率。
/icefire_tyh/article/details/520689005.编程实现线性判别分析，并给出西瓜数据集3.0α上的结果。
习题一、选择题1 .关于k-近邻算法说法错误的是OA是机器学习B是无监督学习Ck代表分类个数Dk的选择对分类结果没有影响2 .关于k-近邻算法说法错误的是OA一般使用投票法进行分类任务Bk-近邻算法属于懒惰学习C训练时间普遍偏长D距离计算方法不同，效果也可能显著不同3 .关于决策树算法说法错误的是OA受生物进化启发B属于归纳推理C用于分类和预测D自顶向下递推4 .利用信息增益来构造的决策树的算法是OAID3决策树B递归C归约DFIFO5 .决策树构成的顺序是（）A特征选择、决策树生成、决策树剪枝B决策树剪枝、特征选择、决策树生成C决策树生成、决策树剪枝、特征选择D特征选择、决策树剪枝、决策树生成6 .朴素贝叶斯分类器属于O假设A样本分布独立B属性条件独立C后验概率已知D先验概率已知7 .支持向量机是指OA对原始数据进行采样得到的采样点B决定分类平面可以平移的范围的数据点C位于分类面上的点D能够被正确分类的数据点8 .关于支持向量机的描述错误的是OA是一种监督学习的方式B可用于多分类问题C支持非线性核函数D是一种生成式模型9 .关于k-均值算法的描述错误的是OA算法开始时，k-means算法时需要指定中心点B算法效果不受初始中心点的影响C算法需要样本与中心点之间的距离D属于无监督学习10 .k-Medoids与k-means聚类最大的区别在于（）A中心点的选择规则B距离的计算法方法C应用层面D聚类效果二、简答题1 .k-近邻算的基本思想是什么？2 .决策树的叶结点和非叶结点分别表示什么？3 .朴素贝叶斯分类器为什么是“朴素”的？4 .线性可分支持向量机的基本思想是什么？5 .核技巧是如何使线性支持向量机生成非线性决策边界的？6 .什么是聚类？聚类和分类有什么区别？7 .试举例聚类分析的应用场景,参考答案一、选择题1.D2,C3.A4.A5.D6.B7.C8.D9.B 10.A二、简答题1.请简述k・近邻算法的思想答：给定一个训练样本集合D以及一个需要进行预测的样本X：对于分类问题，k-近邻算法从所有训练样本集合中找到与X最近的k个样本，然后通过投票法选择这k个样本中出现次数最多的类别作为X的预测结果;对于回归问题,k近邻算法同样找到与X最近的k个样本,然后对这k个样本的标签求平均值，得到X的预测结果。
第二章模型评估与选择1.数据集包含1000个样本，其中500个正例，500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算共有多少种划分方式。
一个组合问题，从500500正反例中分别选出150150正反例用于留出法评估，所以可能取150)2。
法应该是(C5002.数据集包含100个样本，其中正反例各一半，假定学习算法所产生的模型是将新样本预测为训练样本数较多的类别（训练样本数相同时进行随机猜测），试给出用10折交叉验证法和留一法分别对错误率进行评估所得的结果。
10折交叉检验：由于每次训练样本中正反例数目一样，所以讲结果判断为正反例的概率也是一样的，所以错误率的期望是5050%。
留一法：如果留下的是正例，训练样本中反例的数目比正例多一个，所以留出的样本会被判断是反例；同理，留出的是反例，则会被判断成正例，所以错误率是100%。
3.若学习器A的F1值比学习器B高，试析A的BEP值是否也比B高。
4.试述真正例率（TPR）、假正例率（FPR）与查准率（P）、查全率（R）之间的联系。
查全率: 真实正例被预测为正例的比例真正例率: 真实正例被预测为正例的比例显然查全率与真正例率是相等的。
查准率:预测为正例的实例中真实正例的比例假正例率: 真实反例被预测为正例的比例两者并没有直接的数值关系。
9.试述卡方检验过程。
第三章线性模型2.试证明，对于参数w，对率回归（logistics回归）的目标函数（式1）是非凸的，但其对数似然函数（式2）是凸的。
如果一个多元函数是凸的，那么它的Hessian矩阵是半正定的。
3.编程实现对率回归，并给出西瓜数据集3.0α上的结果/icefire_tyh/article/details/520688444.选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归的错误率。
/icefire_tyh/article/details/520689005.编程实现线性判别分析，并给出西瓜数据集3.0α上的结果。
第一章机器学习概述1.机器学习研究什么问题，构建一个完整的机器学习算法需要哪些要素？机器学习主要研究如何选择统计学习模型，从大量已有数据中学习特定经验。
构建一个完整的机器学习算法需要三个方面的要素，分别是数据，模型，性能度量准则。
2.可以生成新数据的模型是什么，请举出几个例子可以生成新数据的模型是生成模型，典型的生成模型有朴素贝叶斯分类器、高斯混合模型、隐马尔可夫模型、生成对抗网络等。
3.监督学习、半监督学习和无监督学习是什么，降维和聚类属于哪一种？监督学习是指样本集合中包含标签的机器学习，无监督学习是无标签的机器学习，而半监督学习介于二者之间。
降维和聚类是无监督学习。
4.过拟合和欠拟合会导致什么后果，应该怎样避免？过拟合导致模型泛化能力弱，发生明显的预测错误，往往是由于数据量太少或模型太复杂导致，通过增加训练数据量，对模型进行裁剪，正则化的方式来缓解。
而欠拟合则会导致模型不能对数据进行很好地拟合，通常是由于模型本身不能对训练集进行拟合或者训练迭代次数太少，解决方法是对模型进行改进，设计新的模型重新训练，增加训练过程的迭代次数。
5.什么是正则化，L1正则化与L2正则化有什么区别？正则化是一种抑制模型复杂度的方法。
L1正则化能够以较大概率获得稀疏解，起到特征选择的作用，并且可能得到不止一个最优解。
L2正则化相比前者获得稀疏解的概率小的多，但得到的解更加平滑。
第二章逻辑回归与最大熵模型1.逻辑回归模型解决（B ）A.回归问题B.分类问题C.聚类问题D.推理问题2.逻辑回归属于（B ）回归A.概率性线性B.概率性非线性C.非概率性线性D.非概率性非线性3.逻辑回归不能实现（D ）A.二分类B.多分类C.分类预测D.非线性回归4.下列关于最大熵模型的表述错误的是（B ）A.最大熵模型是基于熵值越大模型越稳定的假设B.最大熵模型使用最大熵原理中一般意义上的熵建模以此缩小模型假设空间C.通过定义最大熵模型的参数可以实现与多分类逻辑回归相同的作用D.最大熵模型是一种分类算法5.下列关于模型评价指标的表述错误的是（C ）A.准确率、精确率、召回率以及AUC均是建立在混淆矩阵的基础上B.在样本不平衡的条件下准确率并不能作为很好的指标来衡量结果C.准确率表示所有被预测为正的样本中实际为正的样本的概率D.一般来说，置信度阈值越高，召回率越低，而精确率越高6.简述逻辑回归的原理。
决策树分类算法⼀、决策树原理决策树是⽤样本的属性作为结点，⽤属性的取值作为分⽀的树结构。
决策树的根结点是所有样本中信息量最⼤的属性。
树的中间结点是该结点为根的⼦树所包含的样本⼦集中信息量最⼤的属性。
决策树的叶结点是样本的类别值。
决策树是⼀种知识表⽰形式，它是对所有样本数据的⾼度概括决策树能准确地识别所有样本的类别，也能有效地识别新样本的类别。
决策树算法ID3的基本思想：⾸先找出最有判别⼒的属性，把样例分成多个⼦集，每个⼦集⼜选择最有判别⼒的属性进⾏划分，⼀直进⾏到所有⼦集仅包含同⼀类型的数据为⽌。
最后得到⼀棵决策树。
J.R.Quinlan的⼯作主要是引进了信息论中的信息增益，他将其称为信息增益（information gain），作为属性判别能⼒的度量，设计了构造决策树的递归算法。
举例⼦⽐较容易理解：对于⽓候分类问题，属性为:天⽓(A1) 取值为：晴，多云，⾬⽓温(A2) 取值为：冷，适中，热湿度(A3) 取值为：⾼，正常风 (A4) 取值为：有风，⽆风每个样例属于不同的类别，此例仅有两个类别，分别为P，N。
P类和N类的样例分别称为正例和反例。
将⼀些已知的正例和反例放在⼀起便得到训练集。
由ID3算法得出⼀棵正确分类训练集中每个样例的决策树，见下图。
决策树叶⼦为类别名，即P 或者N。
其它结点由样例的属性组成，每个属性的不同取值对应⼀分枝。
若要对⼀样例分类，从树根开始进⾏测试，按属性的取值分枝向下进⼊下层结点，对该结点进⾏测试，过程⼀直进⾏到叶结点，样例被判为属于该叶结点所标记的类别。
现⽤图来判⼀个具体例⼦，某天早晨⽓候描述为:天⽓：多云⽓温：冷湿度：正常风：⽆风它属于哪类⽓候呢?-------------从图中可判别该样例的类别为P类。
ID3就是要从表的训练集构造图这样的决策树。
实际上，能正确分类训练集的决策树不⽌⼀棵。
Quinlan的ID3算法能得出结点最少的决策树。
ID3算法：⒈对当前例⼦集合，计算各属性的信息增益；⒉选择信息增益最⼤的属性A k；⒊把在A k处取值相同的例⼦归于同⼀⼦集，A k取⼏个值就得⼏个⼦集；⒋对既含正例⼜含反例的⼦集，递归调⽤建树算法；⒌若⼦集仅含正例或反例，对应分枝标上P或N，返回调⽤处。
决策树模型的使用教程决策树模型是一种用于分类和回归分析的机器学习算法，它将数据集分成更小的子集，直到每个子集中的数据点属于同一类别或具有相似的特征。
决策树模型简单易懂，适用于处理大型数据集，并且可以解释性较好。
在本文中，我们将介绍决策树模型的基本概念、构建方法和实际应用。
1. 基本概念决策树模型由节点、边和叶子组成。
节点表示数据集中的一个特征或属性，边表示特征的取值，叶子表示数据点所属的类别或回归结果。
决策树的构建过程是一个递归的过程，从根节点开始，根据特征的取值将数据集分成更小的子集，直到满足停止条件为止。
2. 构建方法构建决策树模型的主要方法有ID3、和CART。
其中，ID3算法使用信息增益来选择特征，算法使用信息增益比来选择特征，CART算法则使用基尼系数来选择特征。
在实际应用中，通常会根据数据集的特点选择合适的算法。
3. 实际应用决策树模型在实际应用中有着广泛的应用。
例如，在医疗诊断中，可以利用决策树模型根据患者的症状和检查结果来判断疾病类型；在金融风控中，可以利用决策树模型来预测客户的信用风险；在电商推荐系统中，可以利用决策树模型根据用户的行为来推荐商品。
4. 模型评估对于决策树模型，通常会使用交叉验证来评估模型的性能，以及剪枝来避免过拟合。
此外，还可以使用AUC、准确率、召回率等指标来评估模型的性能。
5. 实现方式在实际使用中，可以使用Python的sklearn库来实现决策树模型。
首先，需要加载数据集，然后使用决策树算法来构建模型，最后使用训练好的模型对新数据进行预测。
6. 注意事项在使用决策树模型时，需要注意的是特征选择、剪枝、处理缺失值和处理过拟合等问题。
此外，在处理连续型特征时，通常会使用二分法来进行处理。
综上所述，决策树模型是一种简单且实用的机器学习算法，它在分类和回归分析中有着广泛的应用。
通过本文的介绍，相信读者对决策树模型有了更深入的了解，希望读者能够在实际应用中灵活运用决策树模型，取得更好的效果。
