统计学复习资料 知识

统计学复习资料统计学的基本概念：统计学是关于:处理和分析数据收集、展示和转换数据，以帮助决策的制定者定义一population（总体）是一个群体的所有成员sample(样本)是选择用于分析的总体的一部分parameter(参数)是描述总体特征的数字测度statistic(统计量)是描述样本特征的数字测度*帕累托图*组间距通常至少5组，但是不要多于15组；组间距取整得到需要的边界点例1：一家隔热材料的制造商冬天随机选取了20天记录每天最高气温24, 35, 17, 21, 24, 37, 26, 46, 58, 30,32, 13, 12, 38, 41, 43, 44, 27, 53, 27做法：将原始数据按升序排序:12, 13, 17, 21, 24, 24, 26, 27, 27, 30, 32, 35, 37, 38, 41, 43, 44, 46, 53, 58 求出范围: 58 - 12 = 46选择组的数量: 5 (usually between 5 and 15)计算组间距(宽度): 10 (46/5然后求整)确定组边界(limits): 10, 20, 30, 40, 50, 60计算组中值: 15, 25, 35, 45, 55计算观测值&将它们安排到组中答案：定义二⏹度量中心趋势、变异和形态⏹均值, 中位数, 众数, 几何平均数⏹四分位数⏹极差, 四分位距, 方差和标准差, 变异系数, Z-值⏹对称和偏态分布⏹总体汇总度量⏹均值, 方差，和标准差⏹经验法则和Chebyshev法则⏹五数汇总和盒须图⏹协方差和相关系数⏹数值描述度量的缺陷和道德问题例二：房屋价格: $2,000,000、500,000、300,000、100,000、100,000，哪个最合适？均值: ($3,000,000/5)= $600,000中位数: middle value of ranked data= $300,000众数: most frequent value= $100,000*均值is最经常使用，除非有极值（异常值）存在*然后是中位数经常使用，因为它对极值不敏感。

*四分位数在排序数据中的合理位置求出四分位数的值，其中第一个四分位数的位置: Q1 = (n+1)/4第二个四分位数的位置: Q2 = (n+1)/2 (中位数的位置)第三个四分位数的位置: Q3 = 3(n+1)/4X 其中n 是观测值的个数 例三、求第一个四分位数样本数据的次序数列: 11 12 13 16 16 17 18 21 22 (n = 9)Q1 在排序数据的 (9+1)/4 = 2.5的位置 所以使用2nd 和3rd 的值之间的中间值, 所以 Q1 = 12.5 Q1 在排序数据的 (9+1)/4 = 2.5 的位置, 所以 Q1 = 12.5 Q2在排序数据的 (9+1)/2 = 5th 的位置, 所以 Q2 = median = 16 Q3在排序数据的 3(9+1)/4 = 7.5 的位置, 所以 Q3 = 19.5*几何均值用于度量变量随着时间进展的变化率*几何平均回报率度量随着时间进展的投资情况其中Ri 是时间i 的回报率 例四：一个投资在第一年末从$100,000减少为$50,000，在第二年末又增加到 $100,000: 使用一年的回报率计算算数和几何平均数: 回报率的几何平均数:*四分位距四分位距 = 3rd 四分位数 – 1st 四分位数 = Q 3 – Q 1*方差 样本方差 = 均值n = 样本规模 X i = 变量X 的i th 个值*标准差是方差的平方根与原始数据有相同的单位 样本标准差*变异系数⏹ 度量相对的变异⏹ 总是以百分比的形式(%) ⏹ 显示相对与均值的变异⏹ 可以用于比较使用不同单位的两个或者更多的数据集标准差除以平均值e.g.股票A:⏹ 去年的平均价格 = $50 ⏹ 标准差 = $5 ⏹股票B:⏹ 去年的平均价格 = $100 ⏹ 标准差 = $5两种股票标准差相同，但是股票B 相对其价格变化较小*Z 值⏹ 度量与均值的距离(例如, 2.0的Z 值意味着与均值的距离的值是 2.0个标准差) ⏹ 一个值与其均值之差，除以标准差⏹ 大于3.0或者小于-3.0的Z 值认为是异常值e.g.如果均值为14.0，标准差为3.0, 18.5的Z 值是多少?⏹ 18.5的值是大于均值的1.5个标准差 (负的Z-值意味着该值小于均值)10%100%$50$5100%X S CV A =⋅=⋅⎪⎪⎭⎫ ⎝⎛=5%100%$100$5100%X S CV B =⋅=⋅⎪⎪⎭⎫ ⎝⎛=1σμ±总体的数值度量⏹ 总体的汇总度量称为参数⏹ 总体均值总体的值的汇总除以总体的规模, Nμ = 总体均值 N = 总体规模 X i =变量X 的i th 值*总体方差⏹ 各值与均值之差的平方的平均数μ = 总体均值N = 总体规模X i = 变量X 的i th 值*总体标准差*经验法则⏹ 如果数据分布接近钟形, 则区间:大约包含68%的总体的值或者样本的值 ⏹ 包含总体或样本约95%的值⏹ ⏹ 包含总体或样本约99.7%的值*Chebyshev 法则⏹ 不论数据如何分布，至少值的(1 - 1/k 2) x 100% 将会落入均值的k 倍标准差的范围内(for k > 1)⏹ (1 - 1/12) x 100% = 0% ……..... k=1 (μ ± 1σ) ⏹ (1 - 1/22) x 100% = 75% …........ k=2 (μ ± 2σ) ⏹ (1 - 1/32) x 100% = 89% ………. k=3 (μ ± 3σ)*盒须图使用五数汇总表现数据的图形最小值 -- Q1 – 中位数 -- Q3 – 最大值 e.g.2σμ± 3σμ±0 2 3 5 27Min Q1 Q2 Q3 Max0 2 2 2 3 3 4 5 5 10 27*样本协方差⏹样本协方差度量两个变量(称为双变量数据)之间线形相关的程度解释协方差两个随机变量之间的协方差:cov(X,Y) > 0 X 和Y 趋向于向相同方向移动cov(X,Y) < 0 X 和Y 趋向于向相反方向移动cov(X,Y) = 0 X 和Y 是独立的*相关系数⏹度量两个变量线形关系的相对强度样本的相关系数其中相关系数r的特点⏹无单位⏹范围在–1和1之间⏹越接近–1, 负的线形关系越强⏹越接近1, 正的线形关系越强⏹越接近0, 线形关系越弱*数值描述度量中的错误数据分析是客观的：应该以最符合数据集的假设的方法报告汇总度量数据解释是主观的：应该以公平，中立和以清晰的方式做*道德考虑应该记录好的和坏的结果/应该用公平，客观和中性的方式展现/不应该用不合理的度量歪曲事实基本结果总数事件发生数T X 发生的概率==基本结果的全部数量的结果的数量和满足)和(B A B A P =524522522)()Re (=+=+=Black and Ace P d and Ace P 定义三⏹ Probability(概率) – 一个不确定的事件发生的机会 (总是在0和1之间) ⏹ Event(事件) – 一个变量的每个可能的结果⏹ Simple Event(简单事件) – 可以通过单一的特征描述的事件 ⏹ Sample Space(样本空间) – 所有可能事件的集合有三种方法评估一个不确定事件的概率: 1. 先验古典概率2. 经验经典概率3. 主观概率 ：关于发生的概率的个人判断或者观点 *事件⏹ 简单事件⏹ 一个样本空间的具有一个特征的结果 ⏹ e.g., 一副牌的红色的牌⏹ 事件A 的补集(定义为A’)⏹ 不属于事件A 的部分的所有结果 ⏹ e.g., 不是方块的所有牌⏹ 联合事件⏹ 同时包括两个或者更多特征⏹ e.g., 一副牌中一张A 又是红色的互斥事件：无法同时发生的事件完备事件⏹ 事件之一肯定发生⏹ 事件集合覆盖整个样本空间**所有互斥和完备事件的概率之和是1A 和B 联合事件的概率:计算边际（或者简单）概率:（B 1, B 2, …, B k 是k 个互斥和完备事件） e.g.P(Ace)观察的结果总数观察的有利结果数发生的概率=*使用列联表的联合概率*一般加法公式:如果A 和B 是互斥的, 则P(A and B) = 0, 所以公式可以简化为:*条件概率：是给定另一个事件已经发生时，一个事件的概率: 给定B 已经发生时，A 的条件概率给定A 已经发生时，B 的条件概率e.g.在二手车的停车场, 70%有空调(AC)，40%有 CD 机(CD). 20%的车都有. 给定一辆车有AC 时，有CD 机的概率是多少?*两个事件是独立的，当且仅当当一个事件的概率不受其他事件影响时，事件A和B 是独立的P(A)B)|P(A =0.120.24+*乘法规则两个事件A 和B 的乘法规则:如果A 和B 是独立的, 则 且乘法规则可以简化为B 1, B 2, …, B k 是k 个互斥和完备的事件*贝叶斯定理B i = k 个互斥和完备事件的i th 事件 A = 影响P(B i )的新事件例子：一家钻井公司估计有40%的机会在它们的新油井发现石油。

制定了一个详细的检验计划以发现新信息。

在历史上，60%的成功油井经过了详细测验，20%的不成功的油井经过了详细测验 。

给定这口油井计划了详细测验，这口井成功的概率是多少?⏹ Let S = 成功的油井 U = 不成功的油井⏹ P(S) = 0.4 , P(U) = 0.6 (先验概率) ⏹ 定义详细测验事件为 D ⏹ 条件概率: P(D|S) = 0.6 P(D|U) = 0.2⏹ 目的是求 P(S|D) ⏹ 应用贝叶斯定理:给定详细测验，修订的成功的概率由原来的0.4 提高到0.667P(B)P(A)B)and P(A =6021203)!(55!X)!(n n!nPx ==-=-=0.7070.50(0.25)1)(2(0.50)1)(1(0.25)1)(0σ222==-+-+-=计数法则：（就是排列组合= =）（排列）e.g.餐厅有5种菜单选择，随机选择三种菜单，分到每天的三餐中，有几种分发？（组合）e.g.餐厅有5种菜单选择，随机选择三种菜单，有多少种不同的选法？*期望离散分布的期望值(或者均值)e.g.: Toss 2 coins, X = # of heads, 算X 的期望值: E(X) = (0 x 0.25) + (1 x 0.50) + (2 x 0.25) = 1.0离散随机变量的方差离散随机变量的标准差E(X) = 离散随机变量X 的期望值 X i = X 的i th 结果 P(X i ) = X 的i th 个发生的概率e.g.上题的标准差：10(6)(2)1203)!(53!5!X)!(n X!n!C x n ==-=-=∑===Ni i i X P X 1)( E(X) μ*协方差X = 离散变量X X i = X 的i th 结果 Y = 离散变量Y Y i = Y 的i th 结果 P(X i Y i ) = Xi th 结果和Yi th 结果出现的概率 e.g.计算投资回报的均值 两类投资每$1,000的回报P(X i Y i ) 经济条件 消极基金X 积极基金Y 0.2 衰退经济 - $ 25 - $200 0.5 稳定经济 + 50 + 60 0.3 扩张经济 + 100 + 350解答：E(X) = μX = (-25)(0.2) +(50)(0.5) + (100)(0.3) = 50 E(Y) = μY = (-200)(0.2) +(60)(0.5) + (350)(0.3) = 95▪ 进取型基金有较高的期望收益，但是风险较大 μY = 95 > μX = 50 butσY = 193.71 > σX = 43.30▪ 协方差8250表示两个投资正相关，向相同方向变动两个随机变量相加▪ 两个随机变量相加的期望值: ▪ ▪▪ 两个随机变量相加的方差:▪ 两个随机变量相加的标准差:43.30(0.3)50)(100(0.5)50)(50(0.2)50)(-25σ222X =-+-+-=*组合的期望收益和组合风险▪ 组合期望回报(加权平均回报):▪ 组合风险(加权变异性)w = 组合值中资产X 的比例(1 - w) = 组合值中资产Y 的比例 e.g.投资X: μX = 50 σX = 43 投资 Y: μY = 95 σY = 193.21σXY = 8250假设组合的40%投资于X ，60%投资于Y:*二项分布二项分布是n 个独立的是/非试验中成功的次数的离散概率分布 组合规律在n 个对象中抽出X 个对象的组合数量为n! =(n)(n - 1)(n - 2) . . . (2)(1) X! = (X)(X - 1)(X - 2) . . . (2)(1) 0! = 1 (由定义)二项分布的公式P(X) = 每次试验成功的概率为p时，在n 次试验中成功X 次的概率 X = 样本中“成功”的数量, (X = 0, 1, 2, ..., n)n = 样本规模(试验或者观测的数量) p = “成功”的概率 Example: 抛硬币，如果成功的概率为0.1，在五个观测值中成功一次的概率是多少?二项分布的特征 均值：方差和标准差n = 样本规模 p = 成功的概率(1 – p) = 失败的概率使用二项分布表*超几何分布▪ 来自规模为N 的有限总体一个样本的“n”次试验 ▪ 无放回地抽取样本 ▪ 试验结果是独立的▪ 关于求在有“A”次成功的总体的样本中，“X”次成功的概率超几何分布的公式N = 总体规模A = 总体中的成功数N – A = 总体中的失败数n = 样本规模X = 样本中的成功数n – X = 样本中的失败数▪ 超几何分布的均值是标准差是称为来自一个有限总体的无放回抽样的 “有限总体校正因子”■ Example: 在一个部门的10台计算机中检查不同的3台。