机器学习算法系列(14)：关联分析

机器学习案例三：数据降维与相关性分析（⽪尔逊（Pearson）,⼆维相关性分析（TDC）,。

在使⽤机器学习模型对数据进⾏训练的时候，需要考虑数据量和数据维度，在很多情况下并不是需要⼤量的数据和⼤量的数据维度，这样会造成机器学习模型运⾏慢，且消耗硬件设备。

除此之外，在数据维度较⼤的情况下，还存在”维度灾难“的问题。

在本篇博客⾥不对数据质量的判定，以及数据的增删做详细的介绍，只介绍对于数据的降维⽅法。

在开展特征⼯程时，数据的降维⽅法思想上有两种，⼀种是例如主成分分析⽅法(PCA)破坏数据原有的结构从⽽提取数据的主要特征，另⼀种是对数据进⾏相关性分析，按照⼀定的法则来对数据的属性进⾏取舍达到降维的⽬的。

在实际的⼯程问题中，由仪器设备采集到的数据具有很重要的意义，如果不是万不得已在进⾏建模的时候不建议破坏数据原有的结构，因为采集到的数据本⾝就具有很重要的物理意义与研究价值，提取出主要特征后会破坏原有数据的信息。

因此在篇中介绍在实际的⼯程应⽤中使⽤相关性分析⽅法进⾏数据的降维。

相关性分析⽅法主要考量的是两组数据之间的相关性，以⼀种指标来判定，看看数据中的哪些属性与⽬标数据的相关性较强，从⽽做出保留，哪些较弱，进⾏剔除。

相关性分析⽅法也分为线性相关性分析与⾮线性相关性分析两种，分别应⽤于不同的场合。

⼀、线性相关性分析 1.数据可视化⽅法： 数据可视化⽅法在某些情况下可以简单且直观的判定数据之间的相关性，但是⽆法很好的展现出数据之间的关系。

2.⽪尔逊相关性分析（Pearsion）(还有斯⽪尔曼，原理与⽪尔逊接近） ⽪尔逊相关性分析的数学公式如下： 求两变量x和y之间的相关性： 对于结果的分析与判断： 相关系数的绝对值越⼤，相关性越强：相关系数越接近于1或-1，相关性越强，相关系数越接近于0，相关度越弱。

通常情况下通过以下取值范围判断变量的相关强度： 相关系数 0.8-1.0 极强相关 0.6-0.8 强相关 0.4-0.6 中等程度相关 0.2-0.4 弱相关 0.0-0.2 极弱相关或⽆相关 对于x,y之间的相关系数r ： 当r⼤于0⼩于1时表⽰x和y正相关关系 当r⼤于-1⼩于0时表⽰x和y负相关关系 当r=1时表⽰x和y完全正相关，r=-1表⽰x和y完全负相关 当r=0时表⽰x和y不相关 以上的分析是针对理论环境下，在实际的⼯程应⽤中也有学者发现且表明当相关性⼤于 0.2即代表存在相关性。

机器学习知到章节测试答案智慧树2023年最新三亚学院第一章测试1.下面哪句话是正确的（）参考答案:增加模型的复杂度，总能减小训练样本误差2.评估模型之后，得出模型存在偏差，下列哪种方法可能解决这一问题（）参考答案:向模型中增加更多的特征3.以垃圾微信识别为例，Tom Mitchell的机器学习的定义中，任务T是什么？（）参考答案:T是识别4.如何在监督式学习中使用聚类算法（）？参考答案:在应用监督式学习算法之前，可以将其类别ID作为特征空间中的一个额外的特征;首先，可以创建聚类，然后分别在不同的集群上应用监督式学习算法5.想要训练一个ML模型，样本数量有100万个，特征维度是5000，面对如此大数据，如何有效地训练模型（）？参考答案:对训练集随机采样，在随机采样的数据上建立模型;使用PCA算法减少特征维度;尝试使用在线机器学习算法6.机器学习兴起于（）。

参考答案:1990年;1980年7.监督学习包括是（）。

参考答案:分类;回归8.机器学习可以对电子商务产品评价进行好评与差评分类。

（）参考答案:对9.机器学习必备知识包括数学基础、心理学基础、算法设计基础、商业模式基础。

（）参考答案:错10.机器学习是一门多学科交叉专业，涵盖____、____、近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。

参考答案:null第二章测试1.关于k-NN算法，以下哪个选项是正确的？参考答案:可用于分类和回归2.k-NN算法在测试时间而不是训练时间上进行了更多的计算。

参考答案:对3.假设算法是k最近邻算法，在下面的图像中，____将是k的最佳值。

参考答案:104.一个kNN分类器，该分类器在训练数据上获得100％的准确性。

而在客户端上部署此模型时，发现该模型根本不准确。

以下哪项可能出错了？注意：模型已成功部署，除了模型性能外，在客户端没有发现任何技术问题参考答案:可能是模型过拟合5.以下是针对k-NN算法给出的两条陈述，其中哪一条是真的？1、我们可以借助交叉验证来选择k的最优值2、欧氏距离对每个特征一视同仁参考答案:1和26.你给出了以下2条语句，发现在k-NN情况下哪个选项是正确的？1、如果k的值非常大，我们可以将其他类别的点包括到邻域中。

使⽤Apriori算法和FP-growth算法进⾏关联分析系列⽂章：最近看了《机器学习实战》中的第11章（使⽤Apriori算法进⾏关联分析）和第12章（使⽤FP-growth算法来⾼效发现频繁项集）。

正如章节标题所⽰，这两章讲了⽆监督机器学习⽅法中的关联分析问题。

关联分析可以⽤于回答"哪些商品经常被同时购买？"之类的问题。

书中举了⼀些关联分析的例⼦:通过查看哪些商品经常在⼀起购买，可以帮助商店了解⽤户的购买⾏为。

这种从数据海洋中抽取的知识可以⽤于商品定价、市场促销、存活管理等环节。

在美国国会投票记录中发现关联规则。

在⼀个国会投票记录的数据集中发现议案投票的相关性，（原⽂：这⾥只是出于娱乐的⽬的，不过也可以……）使⽤分析结果来为政治竞选活动服务，或者预测选举官员会如何投票。

发现毒蘑菇的相似特征。

这⾥只对包含某个特定元素（有毒性）的项集感兴趣，从中寻找毒蘑菇中的⼀些公共特征，利⽤这些特征来避免吃到那些有毒蘑菇。

在Twitter源中发现⼀些共现词。

对于给定搜索词，发现推⽂中频繁出现的单词集合。

从新闻⽹站点击流中挖掘新闻流⾏趋势，挖掘哪些新闻⼴泛被⽤户浏览到。

搜索引擎推荐，在⽤户输⼊查询词时推荐同相关的查询词项。

从⼤规模数据集中寻找物品间的隐含关系被称作关联分析（association analysis）或者关联规则学习（association rule learning）。

这⾥的主要问题在于，寻找物品的不同组合是⼀项⼗分耗时的任务，所需的计算代价很⾼，蛮⼒搜索⽅法并不能解决这个问题，所以需要⽤更智能的⽅法在合理的时间范围内找到频繁项集。

本⽂分别介绍如何使⽤Apriori算法和FP-growth算法来解决上述问题。

1.关联分析是在⼤规模数据集中寻找有趣关系的任务。

这些关系可以有两种形式：频繁项集关联规则频繁项集（frequent item sets）是经常出现在⼀块⼉的物品的集合，关联规则（association rules）暗⽰两种物品之间可能存在很强的关系。

机器学习常见算法分类机器学习算法主要可以分为监督学习、无监督学习和强化学习三大类。

在这三大类下，又可以进一步细分为多个具体的算法。

1.监督学习算法：- 线性回归（Linear Regression）: 基于线性模型，通过最小化预测与实际值之间的差距进行训练。

- 逻辑回归（Logistic Regression）: 用于二分类问题，通过建立逻辑回归模型，将输入映射到一个概率值。

- 决策树（Decision Tree）: 通过一系列判断节点和叶节点的组合，建立一个树形结构的分类模型。

- 支持向量机（Support Vector Machine，SVM）: 通过寻找最大间隔来划分不同类别之间的边界。

- 随机森林（Random Forest）: 基于多个决策树的集成算法，通过投票选择最终结果。

- K近邻算法（K-Nearest Neighbors，KNN）: 根据新样本与训练样本之间的距离来确定分类。

2.无监督学习算法：无监督学习是指从输入数据中寻找隐藏结构或模式，而不需要预先标记的训练数据。

常见的无监督学习算法包括：- 聚类算法（Clustering）: 将数据分成不同的簇，使得同一簇内的数据相似度较高，不同簇间的数据差异较大。

- K均值算法（K-Means）: 将数据分成K个簇，每个簇中的数据与该簇的中心点距离最近。

-DBSCAN:根据数据点的密度划分簇，具有自动确定簇个数的能力。

- 关联规则学习（Association Rule Learning）: 发现数据中的关联规则，例如购物篮分析等。

3.强化学习算法：强化学习是一种与环境进行交互的学习方式，通过试错而不是通过标记的训练数据进行学习。

常见的强化学习算法包括：- Q学习（Q-Learning）: 通过探索和利用的方式学习到一个动作值函数，用于选择在给定状态下的最优动作。

- 深度强化学习（Deep Reinforcement Learning）: 结合深度神经网络和强化学习的方法，用于处理高维、复杂的任务。