CHAID决策树方法介绍

决策树算法介绍（DOC）3.1 分类与决策树概述3.1.1 分类与预测分类是⼀种应⽤⾮常⼴泛的数据挖掘技术，应⽤的例⼦也很多。

例如，根据信⽤卡⽀付历史记录，来判断具备哪些特征的⽤户往往具有良好的信⽤；根据某种病症的诊断记录，来分析哪些药物组合可以带来良好的治疗效果。

这些过程的⼀个共同特点是：根据数据的某些属性，来估计⼀个特定属性的值。

例如在信⽤分析案例中，根据⽤户的“年龄”、“性别”、“收⼊⽔平”、“职业”等属性的值，来估计该⽤户“信⽤度”属性的值应该取“好”还是“差”，在这个例⼦中，所研究的属性“信⽤度”是⼀个离散属性，它的取值是⼀个类别值，这种问题在数据挖掘中被称为分类。

还有⼀种问题，例如根据股市交易的历史数据估计下⼀个交易⽇的⼤盘指数，这⾥所研究的属性“⼤盘指数”是⼀个连续属性，它的取值是⼀个实数。

那么这种问题在数据挖掘中被称为预测。

总之，当估计的属性值是离散值时，这就是分类；当估计的属性值是连续值时，这就是预测。

3.1.2 决策树的基本原理1.构建决策树通过⼀个实际的例⼦，来了解⼀些与决策树有关的基本概念。

表3-1是⼀个数据库表，记载着某银⾏的客户信⽤记录，属性包括“姓名”、“年龄”、“职业”、“⽉薪”、......、“信⽤等级”，每⼀⾏是⼀个客户样本，每⼀列是⼀个属性（字段）。

这⾥把这个表记做数据集D。

银⾏需要解决的问题是，根据数据集D，建⽴⼀个信⽤等级分析模型，并根据这个模型，产⽣⼀系列规则。

当银⾏在未来的某个时刻收到某个客户的贷款申请时，依据这些规则，可以根据该客户的年龄、职业、⽉薪等属性，来预测其信⽤等级，以确定是否提供贷款给该⽤户。

这⾥的信⽤等级分析模型，就可以是⼀棵决策树。

在这个案例中，研究的重点是“信⽤等级”这个属性。

给定⼀个信⽤等级未知的客户，要根据他/她的其他属性来估计“信⽤等级”的值是“优”、“良”还是“差”，也就是说，要把这客户划分到信⽤等级为“优”、“良”、“差”这3个类别的某⼀类别中去。

给大家拜个晚年！这年也过完了，又要开始工作了！本想春节期间写写博客，但不忍心看到那么多的祝福被顶下去，过节就过个痛快的节日，不写了！直接上开心网，结果开了个“老友面馆”都经营到18级了！还是蛮开心的，但是我决定了从今天开始就不再玩了！今天我们来说说分类决策树的应用和操作！主要包括CHAID&CRT，是非常好用和有价值的多变量分析技术，∙CHAID——Chi-squared Automatic Interaction Detector卡方自交互侦测决策树∙CRT——Classification Regression Tree分类回归树；CHAID和CART是最有名的分类树方法，主要用于预测和分类。

在市场研究中经常用于市场细分和客户促销研究，属于监督类分析技术。

其中，树根节点是独立变量-因变量，例如：使用水平、购买倾向、用户或非用户、客户类型、套餐类别、细分类别等。

子节点基于独立变量和其他分类变量（父节点），按照卡方显著性不断划分或组合为树状结构。

预测变量一般也是非数量型的分类变量。

CHAID最常用，但独立变量只能是分类变量，也就是离散性的，CRT可以处理数量型变量，有时候二者结合使用。

CHAID和CRT都可以处理非数量型和定序性变量。

分类树方法产生真实的细分类别，这种类是基于一个独立变量得到的一种规则和细分市场。

也就是说，每一个树叶都是一个细分市场。

下面我们通过一个案例来操作SPSS软件的分类决策树模块假设我们有一个移动业务数据，包含有客户的性别、年龄、语音费用、数据费用、客户等级、支付方式和促销套餐变量。

我们现在期望能够得到针对不同的促销套餐来分析“客户画像”，这样有利于针对性的促销！也就是不同套餐客户特征描述！因变量是促销套餐，其它是预测变量或自变量！我们看到，首先要求我们定义变量的测量等级并定义好变量变标和值标！因为，CHAID 和CRT具有智能特性，也就是自交互检验和自回归能力，所以对变量测量尺度要求严格！为什么说变量测量等级重要呢？例如，我们有个变量叫学历（1-初中、2-高中、3-大专、4-本科、5-硕士以上），如果我们设定为定序变量，则决策树可以自动组合分类，但无论如何都是顺序组合，也就是说可能（1-初中、2-高中、3-大专）为一类，（4-本科、5-硕士以上）为一类，但绝对不会把1和5合并一类；如果我们定义为名义变量，则可以任意学历组合为某类了！基本原理：基于目标变量（独立变量）自我分层的树状结构，根结点是因变量，预测变量根据卡方显著性程度不断自动生成父节点和子节点，卡方显著性越高，越先成为预测根结点的变量，程序自动归并预测变量的不同类，使之成为卡方显著性。

简述决策树方法的具体步骤。

决策树是一种常用的机器学习算法，其可以通过对数据集的特征进行划分来进行分类或预测。

决策树方法的具体步骤如下：1. 数据准备：收集需要进行分类或预测的数据，并进行数据清洗和预处理。

这包括数据的去重、缺失值处理、异常值处理等。

2. 特征选择：从数据集中选择最佳的特征作为决策树的根节点。

常用的特征选择方法有信息增益、信息增益比、基尼指数等。

3. 划分数据集：根据选择的特征，将数据集划分为多个子集。

每个子集都包含了特征取值相同的样本。

这一步骤会将数据集分为多个分支。

4. 递归构建决策树：对每个子集重复上述步骤，选择最佳的特征作为该子集的根节点，并将该子集划分为更小的子集。

这一过程会不断递归进行，直到满足停止条件为止。

5. 停止条件：构建决策树的过程中，需要设定一些停止条件，以防止过拟合。

常用的停止条件有：决策树的深度达到预定值、节点中的样本数小于阈值、节点中样本的类别完全相同等。

6. 剪枝：决策树的构建可能会过度拟合训练数据，导致泛化能力较弱。

为了解决这个问题，可以对决策树进行剪枝。

剪枝可以分为预剪枝和后剪枝两种方法。

预剪枝是在构建决策树时，在每次划分节点前进行估计，若划分后无显著提升，则停止划分。

后剪枝是在构建好决策树后，从底部开始，逐层向上对非叶节点进行剪枝操作。

7. 决策树的评估：使用测试数据集来评估决策树的性能。

常用的评估指标有准确率、召回率、精确率、F1值等。

8. 决策树的应用：使用构建好的决策树对新样本进行分类或预测。

将新样本从决策树的根节点开始，依次根据特征的取值选择分支，直到叶节点，即可得到分类或预测结果。

决策树方法是一种直观且易于理解的机器学习算法，其构建过程简单明了，并且可以处理多分类和连续型特征。

然而，决策树也有一些局限性，如容易过拟合、对数据的小变化敏感等。

为了克服这些问题，可以使用集成学习方法如随机森林、梯度提升树等来提高决策树的性能。

决策树方法是一种常用的机器学习算法，通过对数据集的特征进行划分来进行分类或预测。

经典决策树算法经典决策树算法是一种常用的机器学习算法，它通过构建一棵树形结构来进行分类或回归预测。

下面将介绍十个经典决策树算法及其特点。

1. ID3算法ID3算法是决策树算法中最早的一种，它使用信息增益来选择最优的划分属性。

ID3算法适用于离散型属性的分类问题，但对于连续型属性的处理较为困难。

2. C4.5算法C4.5算法是ID3算法的改进版，它引入了信息增益比来解决ID3算法的缺点。

C4.5算法还支持处理连续型属性，能够处理缺失值，并且可以生成带有概率估计的决策树。

3. CART算法CART算法是一种通用的决策树算法，可用于分类和回归问题。

CART算法使用基尼指数来选择最优的划分属性，能够处理连续型和离散型属性，也能处理缺失值。

4. CHAID算法CHAID算法是一种用于分类问题的决策树算法，它使用卡方检验来选择最优的划分属性。

CHAID算法能够处理离散型属性和有序离散型属性，但对于连续型属性的处理较为困难。

5. MARS算法MARS算法是一种基于决策树的回归算法，它使用逐步回归和最小二乘法来构建决策树。

MARS算法能够处理连续型和离散型属性，并且可以生成非线性的决策树。

6. Random Forest算法Random Forest算法是一种集成学习算法，它通过构建多棵决策树并进行投票来进行分类或回归预测。

Random Forest算法能够处理连续型和离散型属性，具有较高的准确性和鲁棒性。

7. Gradient Boosting算法Gradient Boosting算法是一种迭代的决策树算法，它通过逐步优化损失函数来构建决策树。

Gradient Boosting算法能够处理连续型和离散型属性，具有较高的准确性和泛化能力。

8. XGBoost算法XGBoost算法是一种基于梯度提升的决策树算法，它通过正则化和并行计算来提高决策树的性能。

XGBoost算法能够处理连续型和离散型属性，并且具有较高的准确性和效率。

决策树的训练算法
决策树的训练算法主要有以下几种：
1. ID3算法：ID3（Iterative Dichotomiser 3）是一种用于决策树学习的经典算法。

它基于信息熵的概念，通过计算每个特征的信息增益来选择最优的划分特征。

2. C4.5算法：C4.5算法是ID3算法的改进版，它在选择划分特征时使用信息增益比来解决ID3算法中对取值较多的特征有偏好的问题。

此外，C4.5算法还支持处理连续特征。

3. CART算法：CART（Classification and Regression Tree）算法是一种用于生成二叉决策树的算法。

它根据基尼系数来选择最优的划分特征，并使用回归树或分类树来处理连续特征。

4. CHAID算法：CHAID（Chi-square Automatic Interaction Detector）算法是一种适用于分类问题的决策树算法。

它使用卡方检验来选择最优的划分特征，并根据卡方统计量的值来评估特征的重要性。

5. 梯度提升决策树（GBDT）算法：GBDT算法是一种集成学习算法，它将多颗决策树进行级联，每颗树的输出作为下一颗树的输入。

GBDT通过梯度下降的方式逐步优化模型的预测能力。

这些算法在决策树的构建过程中采用不同的策略和指标，适用于不同类型的数据和问题。

在实际应用中，可以根据数据特点和问题需
求选择合适的算法进行训练。

如何找到你的细分目标用户？试试这个决策树！我们最常用的细分用户方式是聚类分析。

但是如果你针对某一个关键指标，找到在这个指标上差异最大的细分人群，可以试试用决策树来细分用户。

在近期的项目中，业务方提到了一个问题：因为内容的曝光量少，没有很好的基础数据作为推荐算法输入，希望通过调研指导内容投放的冷启动，知道要给哪些特征的用户投放哪些内容。

针对这个问题如果只是单单分析一个特征的结果，可能会把一些重要的属性组合淹没在了特定人群中。

比如举一个不真实的例子，如果对用户购买美妆产品行为进行分析，只看男女数据分析，我们会发现相比于女性，男性几乎是不购买美妆产品的。

但是如果针对性别进一步拆分年龄，我们会发现 95 后的男性也有较高的美妆购买行为，如果只看性别分析这个对美妆有高需求的特殊男性人群就会被忽视。

但是可以分析的用户属性很多，如果手动组合分析就非常的不方便。

这个时候就可以用决策树分析来解决这个问题。

什么是决策树？决策树是一种细分用户的方式。

不同于聚类细分用户，决策树细分用户中有一个目标变量的概念。

决策树的细分目的就是通过逐层划分不同解释变量值获得多属性组合细分人群，使得细分人群在目标变量上表现区隔度尽可能的大。

解释变量就是用户特征，比如人口学、消费特征、用户行为数据等。

目标变量则是我们调研中关心的核心指标。

它有两种类型，分别服务于两种不同目的。

描述目的：在市场调研中目标变量一般是二分变量。

比如在上述问题需求中，就是用户对某个内容是否偏好，通过决策树我们可以知道有哪些特征组合的用户群体对产品偏好度高，哪些更低。

预测目的：这种情况下目标变量是类别变量。

比如目标变量有四个值，分别代表A\B\C\D 四个品牌，通过决策树可以知道哪些特征组合的人群更偏好哪个品牌，可以输出判别的规则作为预测模型。

决策树的原理是什么？决策树算法中 CHAID 和 exhaustive CHAID 在结果的简洁度和区隔度上表现都更好是最常用的算法。