解决R语⾔数据不平衡的问题R语⾔解决数据不平衡问题⼀、项⽬环境开发⼯具：RStudioR：3.5.2相关包：dplyr、ROSE、DMwR⼆、什么是数据不平衡？为什么要处理数据不平衡？⾸先我们要知道的第⼀个问题就是“什么是数据不平衡”，从字⾯意思上进⾏解释就是数据分布不均匀。
在我们做有监督学习的时候，数据中有⼀个类的⽐例远⼤于其他类，或者有⼀个类的⽐值远⼩于其他类时，我们就可以认为这个数据存在数据不平衡问题。
那么这样的⼀个问题会对我们后续的分析⼯作带来怎样的影响呢？我举个简单的例⼦，或许⼤家就明⽩了。
假设我们现在需要训练⼀个模型来分辨⼈群中那个⼈是恐怖分⼦。
那么现在给到我们1万个⼈员的数据，在做分析之前其实我们就很清楚，⼀群⼈中恐怖分⼦的⽐例肯定是要远⼩于普通⼈的⽐例的。
那么假如在这1万个⼈中只有⼀个是恐怖分⼦，那么恐怖分⼦与正常⼈的⽐例就是 9999 : 1 。
那么如果我们不进⾏任何处理就直接进⾏有监督学习的话，那么模型只需要将所有⼈数据都分类为正常⼈，模型的准确率就能达到99.99%。
⽽这样的模型显然是没有意义的。
因为基本上说有可能存在的恐怖分⼦的特征基本都被模型给忽略了，这也就说明了为什么要处理数据不平衡问题。
三、常见的数据不平衡处理⽅法以下是⼏种⽐较常见的处理数据不平衡的⽅法：1、⽋采样法（Undersampling）2、过采样法（Oversampling）3、⼈⼯数据合成法（Synthetic Data Generation)4、代价敏感学习法（Cose Sensitive Learning）【注】：本⽂主要以实现为主，因此不对上述⽅法进⾏过多的讲解。
在处理数据之前，我们先看⼀下需要处理的数据分布的情况。
load("C:/Users/User/Desktop/data.RData")table(data$classification)prop.table(table(data$classification))> table(data$classification)-8 1 2 3 4 512 104 497 1158 4817 1410> prop.table(table(data$classification))-8 1 2 3 4 50.001500375 0.013003251 0.062140535 0.144786197 0.602275569 0.1762940741、⽋采样######### ⽅法⼀ #########library(ROSE)# 由于是多分类问题，我们先提取数据中⽐例最⼤的类和⽐例最⼩的类# 进⾏平衡（转化为⼆分类问题）test <- data[which(data$classification == -8 | data$classification == 4),]# 将分类结果转化为因⼦型（不然会报错）test$classification <- as.factor(test$classification)# 进⾏⽋采样# 其中 method = "under" 表⽰采⽤的⽅法为“⽋采样”# N = 40 表⽰最终整个数据集的数量# seed 随机种⼦，为了保留对样本的追踪under <- ovun.sample(classification ~ ., test, method = "under", N = 40, seed = 1)$data # 查看结果table(under$classification)> table(under$classification)4 -828 12######### ⽅法⼆ #########library(dplyr)# 由于是多分类问题，我们先提取数据中⽐例最⼤的类和⽐例最⼩的类# 进⾏平衡（转化为⼆分类问题）test <- data[which(data$classification == -8 | data$classification == 4),]# 提取⼤⽐例类test1 <- test[which(test$classification == 4),]# 将⼤⽐例类的数量降为12个down <- sample_n(test1, 12, replace = TRUE)# 将⽋采样后的类进⾏合并down <- rbind(test[which(test$classification == -8), ],down)table(down$classification)> table(down$classification)-8 412 12【注】：⽋采样是⽆放回的采样。
