数学模型5-2决策树

数据建模与应用作业指导书第1章数据建模基础 (2)1.1 数据建模的概念与意义 (2)1.2 数据建模的流程与步骤 (3)1.3 常见数据建模方法 (3)第2章数据预处理 (4)2.1 数据清洗 (4)2.1.1 缺失值处理：针对数据集中的缺失值，采用填充、删除或插值等方法进行处理。

(4)2.1.2 异常值检测与处理：通过统计分析、箱线图等方法识别数据集中的异常值，并采用合理的方式进行处理。

(4)2.1.3 重复数据处理：对数据集中的重复数据进行识别和删除，避免对后续分析产生影响。

(4)2.1.4 数据类型转换：对数据集中的数据类型进行统一和转换，保证数据的一致性。

42.2 数据整合与转换 (4)2.2.1 数据集成：将来自不同来源的数据进行合并，形成统一的数据集。

(5)2.2.2 数据变换：对数据集中的数据进行规范化、标准化等变换，消除数据量纲和尺度差异的影响。

(5)2.2.3 特征工程：基于业务需求，提取和构造具有代表性的特征，提高模型功能。

(5)2.2.4 数据归一化与标准化：对数据集中的数值型数据进行归一化或标准化处理，降低数据分布差异的影响。

(5)2.3 数据规约 (5)2.3.1 特征选择：从原始特征集中选择具有较强预测能力的特征，降低数据维度。

(5)2.3.2 主成分分析：通过线性变换，将原始数据投影到低维空间，实现数据降维。

(5)2.3.3 聚类分析：对数据进行聚类，识别数据集中的潜在模式，为特征选择和降维提供依据。

(5)2.3.4 数据压缩：采用编码、哈希等方法对数据进行压缩，减少存储和计算负担。

(5)2.4 数据可视化 (5)2.4.1 分布可视化：通过直方图、散点图等展示数据集中各特征的分布情况。

(5)2.4.2 关系可视化：利用热力图、相关性矩阵等展示特征之间的关系。

(5)2.4.3 聚类可视化：通过散点图、轮廓图等展示数据聚类结果。

(5)2.4.4 时间序列可视化：采用折线图、面积图等展示时间序列数据的变化趋势。

数学建模分类
一、基于数学规划的建模方法
1. 线性规划模型
2. 整数规划模型
3. 二次规划模型
4. 非线性规划模型
5. 动态规划模型
6. 最优化问题建模
二、基于统计分析的建模方法
1. 线性回归模型
2. 逻辑回归模型
3. 主成分分析模型
4. 马尔可夫模型
5. 时间序列模型
6. 方差分析模型
三、基于图论的建模方法
1. 最短路径模型
2. 最小生成树模型
3. 拓扑排序模型
4. 最大流模型
5. 最小费用流模型
6. 图着色问题建模
四、基于优化方法的建模方法
1. 遗传算法模型
2. 蚁群算法模型
3. 粒子群优化模型
4. 模拟退火模型
5. 遗传规划模型
6. 蚁群优化模型
五、基于随机过程的建模方法
1. 马尔可夫链模型
2. 随机游走模型
3. 泊松过程模型
4. 随机差分方程模型
5. 随机微分方程模型
6. 随机优化问题建模
六、基于决策分析的建模方法
1. 决策树模型
2. 神经网络模型
3. 支持向量机模型
4. 贝叶斯网络模型
5. 人工智能模型
6. 多目标决策问题建模。

李航-统计学习⽅法-笔记-5：决策树基本模型简介：决策树可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。

其主要优点是模型具有可读性，分类速度快。

决策树学习通常包括3个步骤：特征选择，决策树⽣成，剪枝。

决策树的内部结点表⽰⼀个特征或属性，叶结点表⽰⼀个类。

If-then：决策树路径或其对应的if-then规则集合具有⼀个重要的性质，互斥并且完备，也就是说，每⼀个实例都被⼀条路径或⼀条规则所覆盖，⽽且只被⼀条路径或者⼀条规则覆盖。

概率分布：决策树将特征空间划分为互不相交的单元，并在每个单元定义⼀个类的概率分布。

决策树的⼀条路径对应于划分中的⼀个单元，决策树所表⽰的条件概率分布由各个单元给定条件下类的条件概率分布组成，即P(Y | X)，叶结点（单元）上的条件概率往往偏向某⼀类。

决策树的学习：决策树学习本质上是从训练数据集中归纳出⼀组分类规则，找到⼀棵“与训练数据⽭盾较⼩，同时具有很好的泛化能⼒”的树。

另⼀个⾓度看，决策树学习是“由训练集估计的条件概率模型”，基于特征空间划分的类的条件概率模型有多个。

我们选择的条件概率模型应该不仅对训练数据有很好的拟合，⽽且对未知数据有很好的预测。

启发式⽅法：从所有可能的决策树中选取最优决策树是NP完全问题，所以现实中通常采⽤启发式⽅法，近似求解这⼀最优化问题。

这样得到的决策树是次优的（sub-optimal）。

通常的做法是递归地选择最优特征，并根据该特征对训练数据进⾏分割，使得对各个⼦数据集有⼀个最好的分类的过程。

剪枝：以上⽅法⽣成的树可能对训练集有很好的分类能⼒，但对未知的数据却未必，可能发⽣过拟合。

我们需要对已⽣成的树⾃下⽽上进⾏剪纸，将树变得更简单，从⽽使它具有更好的泛化能⼒。

具体地，就是去掉过于细分的叶结点，使其回退到⽗结点，甚⾄更⾼的结点，将⽗结点或更⾼的结点改为新的叶结点。

特征选择特征选择：特征选择在于选取对训练数据具有分类能⼒的特征。

。
5
二.收集信息拟定方案
目标明确以后，首先应该通过调查研究收集与目标有关的详细信息，并 根据所收集的信息对未来进行科学预测，以确知决策人所可能会面临的决策 环境。在预测的基础上，即可以着手拟定方案。拟定方案必须遵循两个基本 原则，一是整体详尽性，二是相互排斥性。对于比较复杂的决策问题，方案 的拟定还可以分两个阶段进行，即先进行大胆设想，然后再进行精心设计。
9
5.2.1 悲观法（Max Min 准则）
悲观法也叫小中取大准则，其特点是从最不利的情况出发，找出可能
出现的最差状态，然后在最不利的情况下选择最好的方案。其决策过程是 ：首先从每一个方案中选择一个最小收益值，然后再从这些最小收益值所 代表的方案中选择一个收益值最大的方案作为备选方案，即所谓“小中取 大”。这是一种保守的决策方法，其实质也就是当面临多种情况时人们所 采取的“从最坏处着想向最好处努力”一种思维方法。 按照这种方法，上述例子应选择的方案就是滞销状态下的小批量生产 。
5.2.4 平均法（等可能准则）
这种决策方法是假定每一种市场状态出现的可能性是相同的，因而可以 把每一个方案在各种不同状态下的收益值加以平均，取其最大者为决策方案 ，计算公式如下。容易算出，引例中各方案的平均收益值分别为：40、46.7 和50。显然，应取大批量生产方案为最优方案。
xi
x
j 1
例5－1 某企业准备上马某一种产品的生产，根据预测， 未来的市场状态有三种情况，即畅销、一般和滞销。因此， 准备采用三种相应的生产方案，即大批量生产、中等批量生 产和小批量生产。每一方案在每一市场状态下的收益值如表5 －1所示，问企业应如何决策。
表5－1 生产批量决策表 生产方案 收益值(万元) 畅销 一 般 滞 销 小批量生产 50 40 30 中等批量生产 80 50 10 大批量生产 120 60 -30