下载文档原格式
第一章数据挖掘定义技术层面：数据挖掘就是从大量数据中，提取潜在有用的信息和知识的过程。
商业层面：数据挖掘就是一种商业信息处理技术，其主要特点是对大量业务数据进行抽取、转换、分析和建模处理，从中提取辅助商业决策的关键性数据。
数据挖掘任务预测任务根据其它属性的值预测特定属性的值，如分类、回归、离群点检测。
描述任务寻找概括数据中潜在联系的模式，如聚类分析、关联分析、演化分析、序列模式挖掘。
(1) 分类(Classification)分析分类分析，通过分析示例数据库中的数据为每个类别做出准确的描述或建立分析模型或挖掘出分类规则，然后用此分类规则对其它数据库中的记录进行分类。
分类分析广泛应用于用户行为分析(受众分析)、风险分析、生物科学等。
(2) 聚类(Clustering)分析“物以类聚，人以群分”。
聚类分析技术试图找出数据集中的共性和差异，并将具有共性的对象聚合在相应的类中。
聚类可以帮助决定哪些组合更有意义，广泛应用于客户细分、定向营销、信息检索等等。
(3) 回归(Regression )分析回归分析是确定两种或两种以上变数间相互依赖的定量关系的一种分析方法。
其可应用于风险分析、作文自动评分等领域。
(4) 关联(Association)分析关联分析，发现特征之间的相互依赖关系，通常是从给定的数据集中发现频繁出现的模式知识(又称为关联规则)。
关联分析广泛用于市场营销、事务分析等领域。
聚类与分类的主要区别聚类与分类是容易混淆的两个概念，聚类是一种无指导的观察式学习，没有预先定义的类。
而分类问题是有指导的示例式学习，预先定义的类。
数据挖掘过程数据挖掘和知识发现紧密相连。
知识发现是从数据中发现有用知识的整个过程⏹知识发现的主要步骤：⏹数据清洗。
其作用是清除数据噪声和与挖掘主题明显无关的数据。
⏹数据集成。
其作用是将来自多数据源中的相关数据组合到一起。
⏹数据转换。
其作用是将数据转换为易于进行数据挖掘的数据存储形式。
机器学习中数据不平衡问题的解决方案机器学习是一种通过数据来训练模型，使得计算机能够进行智能决策和预测的技术。
然而，在实际应用中，我们常常会遇到数据不平衡的问题。
数据不平衡指的是在训练集中正例和负例的数量出现明显不均衡的情况，这可能会导致模型训练的不准确性和偏差。
解决数据不平衡问题是机器学习中的一个重要挑战，下面我们将介绍一些解决方案。
1. 重新采样重新采样是一种常见的解决数据不平衡问题的方法。
它包括过采样和欠采样两种策略。
过采样指的是增加少数类样本的数量，而欠采样则是减少多数类样本的数量。
过采样的方法包括随机复制、SMOTE（合成少数类过采样技术）等，而欠采样的方法包括随机删除、Tomek链接等。
重新采样能够使得正负样本的数量更加均衡，有利于模型的训练。
2. 使用不平衡学习算法不平衡学习算法是专门针对数据不平衡问题设计的算法。
它们能够在模型训练阶段考虑到数据不平衡的情况，通过改变损失函数或者样本权重等方式来平衡正负样本之间的影响。
常见的不平衡学习算法包括SMOTEBoost、RUSBoost、EasyEnsemble等。
这些算法能够有效地提高模型对于少数类样本的识别能力，从而解决数据不平衡问题。
3. 使用代价敏感学习算法代价敏感学习算法是一种考虑不同类别样本代价的学习算法。
它通过给不同类别的样本分配不同的代价，使得模型在训练过程中更加关注少数类样本。
代价敏感学习算法能够有效地解决数据不平衡问题，提高模型的泛化能力。
常见的代价敏感学习算法包括Cost-sensitive SVM、AdaCost等。
4. 使用集成学习集成学习是一种通过结合多个模型来提高整体性能的方法。
在处理数据不平衡问题时，可以使用集成学习来结合多个不同模型，以弥补单一模型的不足。
常见的集成学习方法包括Bagging、Boosting、Stacking等。
通过使用集成学习，可以有效地提高模型对于少数类样本的识别能力，从而解决数据不平衡问题。
