ID3算法与C4.5算法ID3算法ID3算法是J. Ross Quinlan在1975提出的分类预测算法，当时还没有数据挖掘吧，哈哈哈。
该算法的核心是“信息熵”,属于数学问题，我也是从这里起发现数据挖掘最底层最根本的不再是编程了，而是数学，编程只是一种实现方式而已，数学才是基础，如：朴素贝叶斯分类，小波聚类，尤其是我正在搞的支持向量机，它就是高等代数，空间解析几何，概率统计的综合应用。
记得读本科时，朱琛学姐说过,数学学得再好也不为过。
我现在深刻体会到了。
信息熵就是一组数据包含的信息，概率的度量。
一组数据越有序信息熵也就越低，极端时如果一组数据中只有一个非0，其它都是0，那么熵等于0，因为只有可能是这个非0的情况发生，它给人们的信息已经确定了，或者说不含有任何信息了，因为信息熵含量为0。
一组数据越无序信息熵也就越高，极端时如果一组数据均匀分布，那么它的熵最大，因为我们不知道那种情况发生的概率大些。
假如一组数据由{d1,d2,...,dn}构成，其和是sum,那么求信息熵的公式是。
分类预测算法属于有指导学习，方法是通过训练数据，按照参考属性对目标属性的依赖程度对参考属性分级别处理，这种分级别处理体现在创建决策树，目的是通过生成的判别树，产生规则，用来判断以后的数据。
以如下数据为例：共14条记录，目标属性是，是否买电脑，共有两个情况，yes或者no。
参考属性有4种情况，分别是，age,income,student,credit_rating。
属性age有3种取值情况，分别是,youth,middle_aged,senior,属性income有3种取值情况，分别是,high,medium,low,属性student有2种取值情况，分别是，no,yes,属性credit_rating有2种取值情况，分别是fair,excellent。
我们先求参考属性的信息熵：，式中的5表示5个no,9表示9个yes,14是总的记录数。
C4.5算法在药物临床中的应用研究
C4.5算法是一种常用的机器学习算法，广泛应用于分类和决策树的构建。
它是基于信息增益准则的分类算法，能够通过对训练数据的分析，建立一个具有很好泛化能力的决策树模型，可以用于解决药物临床中的一些问题。
在药物临床中，C4.5算法可以应用于药物疗效预测、药物不良反应预测、药物治疗方案选择等方面。
通过对医疗数据进行分析，可以从大量的特征变量中提取出对于预测药物疗效或不良反应有影响的特征，从而帮助临床医生进行决策。
C4.5算法可以用于预测药物疗效。
通过分析病人的疾病情况、基因信息、生活习惯等多个特征，可以建立一个决策树模型，预测某种药物对疾病的疗效。
临床医生可以根据这个模型来选择适合患者的药物治疗方案，提高治疗效果。
C4.5算法在药物临床中有着广泛的应用前景。
通过对医疗数据的分析，可以建立一个具有很好泛化能力的决策树模型，帮助临床医生做出准确的决策，提高治疗效果，减轻患者的痛苦。
随着研究的深入和数据的积累，相信C4.5算法在药物临床中的应用将会更加广泛。
