R统计模拟-课件PP讲义T(演示稿)

• 混淆矩阵（Confusion matrix） – 分析分类器判别性能的一种重要的工具。主要用于二元分 类器的评价，但亦可应用于多元分类器的评价。 – 理想地，分类判别性能越好的分类器，对角线上的数值应 该越大，其他表项取直应该为0，或接近0。 – 在R中，使用table函数计算分类器模型的混淆矩阵。 table的第一个参数是实际的类别向量，第二个参数为预 测的类别向量。
估计
判别（预测）
……
ID
12496 14177 24381
…
属性1
F M M
…
Yes No Yes
……
0-1 2-5
……
……
类
No
属性2 属性3 属性4
Europe
f#
Europe Yes
5-10 Pacific Yes
• •
用于进行分类建模的算法属于监督学习算法。 主要的分类建模算法： – 参数模型：模型具有形式化的数学表达式。 在参数模型中，将观测样本属于某个类别的“条件概 率”作为模型输出。 主要算法：线性判别分析、逻辑斯蒂回归、支持向量机、 人工神经⻔络等。 – 非参数模型：模型不具有形式化的数学表达式。
使得f̂能够把新的未知类别的观测样本的属性值xi映射到一个预 先定义的离散型类别变量值yi。
Y = f ̂ ( X)
– 其中，⺫标函数f也称为分类模型，或分类器(classifier)。 – 学习得到的模型f̂的输入可为连续型的数值变量或离散型的 标称变量、序值变量，称为特征(feature)； – 模型输出为离散型的，代表类别的标称变量，称为类(class)。 – 反应变量的类型(连续、离散)是区分回归与分类的主要标准。 – 传统的数学方法无法对离散型变量进行解析表达。

描述性统计主要包括反映数据集中趋势的特征值(比如 平均数、中位数、众数、分位数)、数据离散程度的 特征值(比如方差、标准差、值域、变异系数)和数 据分布形态的特征值(比如偏度、峰度)。
3
标准差（std.dev）和标准误（SE.mean）
真实均值 样本均值
SE
标准差（std.dev）
当样本含量 n 足够大时，标准差趋向稳定；而标准误随n的增大而减小，甚至趋于0 。
yield") 13
方差分析ANOVA
方差分析是一种在若干组能相互比较的试验数据中，把 产生变异的原因加以区分的方法与技术，其主要用途是 研究外界因素或试验条件的改变对试验结果影响是否显 著。
类型：单因素方差分析(One-way ANOVA)、双因素方 差分析(Two-way ANOVA) 。
方差分析的基本模型是线性模型，并假设随机变量是独 立、正态和等方差的。
summary(tuk)
# standard display
tuk.cld <- cld(tuk) # letter-based display
opar <- par(mai=c(1,1,1.5,1))
plot(tuk.cld)
par(opar)
16
双因素（无重复）方差分析
17
多重比较
library(agricolae) # 对A因素在a = 0.05水平上进行多重比较 (duncan.test(fit, "A", alpha = 0.05)) # 对B因素进行多重比较 (duncan.test(fit, "B", alpha = 0.05))
24
成对双样本 t 检验
18个草地种在放牧和不放牧样方中的生物量（kg/m2）

残差 e y yˆ
管理与教育的组合 组合 1 2 3 4 5 6 管理 0 1 0 1 0 1 教育 1 1 2 2 3 3
e 与资历x1的关系
2000
e与管理—教育组合的关系
2000
1000
1000
0
0
-1000
-1000
-2000 0
5
10
15
20
残差大概分成3个水平， 6种管理—教育组合混在 一起，未正确反映 。
5
0
3
a0
11200
6
1
3
a0+a2
18241
大学程度管理人员比更高程度管理人员的薪金高
大学程度非管理人员比更高程度非管理人员的薪金略低
软件开发人员的薪金
对定性因素(如管理、教育)，可以引入0-1变量处理， 0-1变量的个数应比定性因素的水平少1 残差分析方法可以发现模型的缺陷，引入交互作用项 常常能够改善模型 剔除异常数据，有助于得到更好的结果
x1= 0； x2 = 1~ 管理，x2 = 0~ 非管理 中学：x3=1, x4=0 ；大学：x3=0, x4=1； 更高：x3=0, x4=0
组合 管理 教育
系数
“基础”薪金
1
0
1
a0+a3
9463
2
1
1
a0+a2+a3+a5
13448
3
0
2
a0+a4
10844
4
1
2
a0+a2+a4+a6
19882
(中x,抽y)的样步确骤定是gˆyNi：， N从1然i后N1fl(g用x()xi

【精品课件教案PPT】 基于R软件的 统计模拟
21、静念园林好，人间良可辞。 22、步步寻往迹，有处特依依。 23、望云惭高鸟，临木愧游鱼。 24、结庐在人境，而无车马喧；问君 何能尔 ？心远 地自偏 。 25、人生归有道，衣食固其端。
56、书不仅是生活，而且是现在、过 去和未 来文化 生活的 源泉。 ——库 法耶夫 57、生命不可能有两次，但许多人连一 次也不 善于度 过。— —吕凯 特 58、问渠哪得清如许，为有源头活水来 。—— 朱熹 59、我的努力求学没有得到别的好处， 只不过 是愈来 愈发觉 自己的 无知。 ——笛 卡儿
拉
60、生活的道路一旦选定，就要勇敢地 Nhomakorabea走到底 ，决不 回头。 ——左

upr
16
回归诊断
par(mfrow=c(2,2)) #设置画图为2x2的格式
plot(lm.sol,which=c(1:4)) #模型检验4张图，包括残差图、QQ图和
Cook距离图
• 数据太少，上面诊断结果并不理想。 library(car) #载入程序包Car,vif()函数在其内
round(vif(lm.sol),2) #计算模型的方差膨胀因子，用2位小数点的格
X2
0.40022 0.08321 4.810 0.000713 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’
0.1 ‘ ’ 1
Residual standard error: 2.854 on 10 degrees of freedom
• 估计出Y=b0+b1X1+b2X2 • F检验: H0: b1=b2=0. T检验: H0: bj=0
j=0,1,2
.
14
求解程序
• blood<data.frame( X1=c(76.0,91.5,85.5,82.5,79.0,80.5,74.5 ,79.0,85.0,76.5,82.0,95.0,92.5),X2=c(50,20,20,30,30 ,50,60,50,40,55,40,40,20),Y=c(120,141,124,126,117,1 25,123,125,132,123,132,155,147) ) #建立数据框
Multiple R-squared: 0.9461, Adjusted R-squared: 0.9354
F-statistic: 87.84 on 2 and 10 DF, p-value: 4.531e-07

2. R语言的特点
1 灵活性
R语言提供了丰富的数据 处理和分析函数，可以满 足各种统计需求。
2 可视化能力
R语言支持生成高质量的 图表和可视化效果，帮助 用户更好地理解数据。
3 社区支持
R语言拥有活跃的社区和 众多的用户，用户可以分 享代码、解决问题，互相 学习和交流。
3. 基本语法和数据类型
变量与赋值
通过赋值语句，将数据存储到 变量中。
数据类型
R语言支持多种数据类型，包括 数值、字符、逻辑等。
向量和矩阵
R语言中的向量和矩阵是常见的 数据结构，可以进行向量化计 算。
4. 数据处理与可视化
1
数据转换
2
对数据进行重塑、合并和拆分，以满足
分析需求。
3
数据清洗
清除无效数据、缺失值处理和异常值处 理。
可视化展示
社区交流
加入R语言的社区，与其他用户交流经验、解决 问题。
6. 实例演示
通过实例演示，带您一步一步掌握R语言的使用技巧，包括数据导入、数据清 洗、可视化展示和统计分析方法的应用。
7. 学习资源和实践建议
在线教程
网上有许多优质的R语言教程，提供从入门到进 阶的学习资对R语言的应 用能力。
开源包
R语言拥有丰富的开源包，可以扩展功能并提高 工作效率。
《统计软件R入门》PPT 课件
R语言是一种强大的统计软件，它具有丰富的功能和广泛的应用领域。本课程 将带您逐步了解R语言的基础知识，为您提供使用R进行数据分析的基本能力。
1. R语言简介
R语言是一种自由开源的编程语言，专门用于数据处理和统计分析。它具有简 洁优雅的语法和丰富的数据处理功能，成为了数据科学领域的必备工具。

qnorm(0.95)#标准正态的下分位数 rnorm(10,0,2)#产生10个正态随机变量N(0,4) 其它分布类似.
ko
4
2、直方图、经验分布图和Q-Q图 （1）直方图
hist(x,breaks=“Sturges”,freq=Null,
probability=!freq,col=Null,…) #break规定直方图的组距
计算数据w的各种统计量
二、数据的分布 1、分布函数 R中提供了一些常用的分布的分布函数计
算.
ko
2
分布名称 二项分布 泊松分布 几何分布 超几何分布 负二项分布 均匀分布 指数分布 正态分布 F分布 T分布 卡方分布 伽马分布 柯西分布 Logistic分布 贝塔分布
R中的名称 binom pois geom hyper nbinom unif exp norm f t chisq gamma cauchy logis beta
Y=sample(1:3,100,replace=T)
max(table(Y))
ko
1
假设有15名同学的体重如下， w <- c(75.0, 64.0, 47.4, 66.9, 62.2, 62.2, 58.7, 63.5, 66.6, 64.0, 57.0, 69.0, 56.9, 50.0, 72.0)
hist(w, breaks=c(30,40,50,60,70,80)) freq=T#频数图，freq=F#频率图 probability与freq相反 （2）核密度估计
density(x, bw = "nrd0", adjust = 1, kernel = c("gaussian", "epanechnikov", "rectangular", "triangular", "biweight", "cosine", "optcosine"), weights = NULL, window = kernel, width, give.Rkern = FALSE, n = 512, from, to, cut = 3, na.rm = FALSE, ...)

精选文档
12
随机模拟最基本的需要是产生伪随机数，R中已提 供了大多数常用分布的伪随机数函数，可以返回一 个伪随机数序列向量。
这些伪随机数函数以字母r开头，比如rnorm()是正 态伪随机数函数，runif()是均匀分布伪随机数函数， 其第一个自变量是伪随机数序列长度n。关于这些 函数可以参见系统帮助文件。
第十讲 计算机模拟
精选文档
1
模拟的概念
模拟就是利用物理的、数学的模型来类比、模 仿现实系统及其演变过程，以寻求过程规律的一 种方法。
模拟的基本思想是建立一个试验模型，这个模 型包含所研究系统的主要特点．通过对这个实验 模型的运行，获得所要研究系统的必要信息。
精选文档
2
用R作随机模拟计算 作为统计工作者，我们除了可以用R迅速实
精选文档
15
如果某一个问题需要的计算时间比较长，我们在编 程时可以采用以下的技巧：每隔一定时间就显示一
下任务的进度，以免计算已经出错或进入死循环还
不知道；应该把中间结果每隔一段时间就记录到一 个文本文件中(cat()函数可以带一个file参数和 append参数，对这种记录方法提供了支持)，如果 需要中断程序，中间结果可能是有用的，有些情况
精选文档
7
精选文档
8
(1) 产生随机数。产生n个相互独立的随机变量抽样 序列
(2) 模拟实验i ，~ U检(验0,不),等式xi x~<U=(a0/,2L2*)sinα
设上面的实验有k次成功的，则
ˆ 2an
Lk
精选文档
9
> buffon <- function(n, L=1, a=0.8) { alpha = runif(n, 0, pi); x = runif(n, 0, L/2); k <-0; for (i in 1:n) { if (x[i] <= a/2*sin(alpha[i])); k = k+1; } 2*a*n/(k*L);

+
sub = G == i)
+ res.mat[i, ] <- residuals(gene.aov)
+ coef.mat[i, ] <- coef(gene.aov)
+}
或
>for(i in 1:1522)
7 3 7 10
第4页/共23页
• 向量的下标(index)与向量子集(元素)的提取 • 正的下标 提取向量中对应的元素 • 负的下标 去掉向量中对应的元素 • 逻辑运算 提出向量中元素的值满足条件的元素 注：R中向量的下标从1开始，这与通常的统计或数学软件一致而象C语言等 计算机高级语言的向量下标则从0开始！
> coef.mat = matrix(0, 1522, 4, byrow = TRUE)
> for(i in 1:1522) {
+ gene.aov = aov(Intensity ~ A + T + A * T,
+
sub = G == i)
+
res.mat[i, ] = residuals(gene.aov) # 保存ANOVA分
> ybar = data.frame(A = factor(a), G = factor(g),
+
T = factor(t), Intensity = y)
> attach(ybar)
> ybar[1:10,] # 查看ybar的前10行
> res.mat = matrix(0, 1522, 8, byrow = TRUE)
>x=c(42,7,64,9)
>length(x)

表1：火车离开A站的时刻及概率
火车离站时刻 概率 13:00 0.7 13:05 0.2 13:10 0.1
表2：某人到达B站的时刻及概率
人到站时刻 概率 13:28 0.3 13:30 0.4 13:32 0.2 1分析—— 这个问题用概率论的方法求解十分困难， 它涉及此人到达时刻、火车离开站的时刻、火 车运行时间几个随机变量，而且火车运行时间 是服从正态分布的随机变量，没有有效的解析 方法来进行概率计算。在这种情况下可以用计 算机模拟的方法来解决。
实际问题 统计、逻辑 模型 计算机模拟（程序、算法） 实际解 统计、计算机解
一、统计模拟的基本概念
（二）统计模拟方法
一般地，统计模拟分类如下： 若按状态变量的变化性质分为连续随机模拟和离散 随机模拟。 而按变量是否随时间变化又可分为动态随机模拟和 静态随机模拟。 常用的统计模拟方法主要有以下几种： 1.蒙特卡罗法 2.系统模拟方法 3.其它方法：包括Bootstrap(自助法)、MCMC （马氏链蒙特卡罗法）等。
k 作为此人能赶上 n 火车的概率p 的近似估计；
成立次数k=k+1
成立次数不变
试验次数 是否达到n次 是 计算估计结果 k/n
否
⑤当n 时，以
进入演示
windows(7, 3) prb = replicate(100, {
#括号内程序重复100次
x = sample(c(0, 5, 10), 1, prob = c(0.7, 0.2, 0.1)) y = sample(c(28, 30, 32, 34), 1, prob = c(0.3, 0.4, 0.2, 0.1)) plot(0:40, rep(1, 41), type = "n", xlab = "time", ylab = "", axes = FALSE) axis(1, 0:40) r = rnorm(1, 30, 2) points(x, 1, pch = 15) i=0 while (i <= r) { i=i+1 segments(x, 1, x + i, 1) if (x + i >= y) points(y, 1, pch = 19) Sys.sleep(0.1) } points(y, 1, pch = 19) title(ifelse(x + r <= y, "poor... missed the train!", "Bingo! catched the train!")) Sys.sleep(4) 进入模拟 x+r>y }) mean(prb)