下载文档原格式
【机器学习】Jackknife，Bootstraping,bagging,boosting。
Jackknife，Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting这些术语，我经常搞混淆，现在把它们放在⼀起，以⽰区别。
(部分⽂字来⾃⽹络，由于是之前记的笔记，忘记来源了，特此向作者抱歉）Bootstraping: 名字来⾃成语“pull up by your own bootstraps”，意思是依靠你⾃⼰的资源，称为⾃助法，它是⼀种有放回的抽样⽅法，它是⾮参数统计中⼀种重要的估计统计量⽅差进⽽进⾏区间估计的统计⽅法。
其核⼼思想和基本步骤如下： （1）采⽤重抽样技术从原始样本中抽取⼀定数量（⾃⼰给定）的样本，此过程允许重复抽样。
（2）根据抽出的样本计算给定的统计量T。
（3）重复上述N次（⼀般⼤于1000），得到N个统计量T。
（4）计算上述N个统计量T的样本⽅差，得到统计量的⽅差。
应该说Bootstrap是现代统计学较为流⾏的⼀种统计⽅法，在⼩样本时效果很好。
通过⽅差的估计可以构造置信区间等，其运⽤范围得到进⼀步延伸。
Jackknife：和上⾯要介绍的Bootstrap功能类似，只是有⼀点细节不⼀样，即每次从样本中抽样时候只是去除⼏个样本（⽽不是抽样），就像⼩⼑⼀样割去⼀部分。
(pku， sewm，shinningmonster.)============================================================================================================================下列⽅法都是上述Bootstraping思想的⼀种应⽤。
bagging：bootstrap aggregating的缩写。
Bootstrap和Jackknife的初步认识作者：乔汭熙来源：《东方教育》2017年第11期摘要：本文总结了Bootstrap和Jackknife的相关理论知识与已有研究；利用R语言进行模拟，设计复杂抽样方案并进行抽样，对Bootstrap和Jackknife的部分性质进行了验证与解释。
除此之外，本文还对Bootstrap和Jackknife估计量的性质进行了简要的介绍，并对方法的改进进行了讨论。
关键词：复杂抽样；Bootstrap；Jackknife；估计一、发展历史与研究现状Jackknife是由Quenouille（1949）引入的一种方法，又称刀切法。
Jackknife方法的思想是，通过从原始数据集中每次删除一个数据并利用其余数据重新计算估计量，根据得到的一组估计值，可以对待估参数及其他性质进行估计。
Quenouille在1949年提出，可以通过将样本划分为两个半样本的方式，以减少序列相关的估计量的偏差。
在其1956年的研究中，提出将样本量为n的样本划分为g组大小为h的样本的方法，并讨论了这种方法的可行性[1][2]。
Jackknife方法在对残差的估计（P.S.R.S Rao and J.N.K.Rao，1970）、区间估计（Tukey）、极大似然估计（Fryer，1970）等方面优良性质均已被证明[1]。
对于多元的Jackknife，Dempster在其1966的研究中，提出了一种改进的Jackknife方法，用于处理典型相关问题。
Layard（1972）指出，当传统正态方法对两个协方差矩阵相等性的检验不稳健时，Jackknife方法可以很好的处理。
Lachenbruch和Mickey[1]提出了U方法（实际是Jackknife方法的应用）进行判别分析。
L.B.Jaeckel提出一种无穷细分的刀切法，虽然此方法不如原始Jackknife方法实用，但却在Jackknife和稳健估计量之间建立了桥梁（1972）。
收稿日期：2009-10-12接受日期：2009-12-06基金项目：安徽省教育厅重点项目（KJ2009A052Z ）；宿州学院人才基金（2007YSS10）作者简介：赵亮，男，博士，副教授，研究方向：保护遗传学，E-mail ：zhaoliang@ioz．ac．cn *通讯作者Corresponding author ，E-mail ：lim@ioz．ac．cn Bootstrap 方法及其在生物学研究中的应用赵亮1，3，程锦秀2，许木启3，李明3*（1．安徽宿州学院化学与生命科学系，安徽宿州234000；2．安徽宿州学院继续教育学院，安徽宿州234000；3．中国科学院动物研究所，动物生态与保护遗传学重点实验室，北京100101）摘要：Bootstrap 方法是以原始数据为基础的模拟抽样统计推断法，特别适用于那些难以用常规方法导出的参数的区间估计、假设检验等问题。
本文介绍了该方法的基本思想及具体步骤，并附有生物学研究中应用的实例。
生物科学中有许多数据总体分布信息往往很难确定，难以用常规的方法进行统计分析，因此Bootstrap 方法在生物科学研究中具有很大的应用价值。
关键词：Bootstrap 方法；区间估计；假设检验中图分类号：O212文献标识码：B文章编号：1000－7083（2010）04－0638－04Bootstrap Method and its Application in BiologyZHAO Liang 1，3，CHENG Jin-xiu 2，XU Mu-qi 3，LI Ming 3*（1．Department of Biology ，Suzhou College ，Suzhou ，Anhui Province 234000，China ；2．Department of Continuing Education ，Suzhou College ，Suzhou ，Anhui Province 234000，China ；3．Key Laboratory of Animal Ecology andConservation Biology ，Institute of Zoology ，Chinese Academy of Sciences ，Beijing 100101，China ）Abstract ：The bootstrap method is a data-based simulation to carry out familiar statistical calculations ，such as confidence intervals estimated ，statistic inference ，et al ．By purely computation means rather than using of statistical formulas ，it is useful especially when the statistical formulas are hard to be got．This article introduced the bootstrap method ，including bootstrap basic ideas and procedures and illustrated its application in biology with some examples．Along with the quick de-velopment of computer techniques ，this method is now surging into widely practical use in biological studies．Key words ：bootstrap ；confidence intervals estimated ；statistic inference统计推断是从样本资料推断相应的总体特征，包括参数估计和假设检验。
146金融经济FINANCIAL AND ECONOMIC课题名称：山西省社会经济统计科学研究立项课题 编号 KY 〔2020〕121基于Bootstrap 方法的统计数据质量评价研究张会清 晋中信息学院摘要：统计的作用在于服务国家宏观决策和人民生产生活，它在反映国民经济和社会发展水平、为党和国家制定正确的决策、预测未来发展趋势等方面发挥着举足轻重的作用。
统计数据要实现以上功能，必须保证统计数据高质量。
数据作为生产要素，在数据要素市场化过程中，如果不能保证其质量，数据价值不但得不到体现，反而会给使用者带来不良的后果。
本文首先介绍了数据质量的概念和Bootstrap 方法的基本原理，然后基于Bootstrap 抽样并应用统计分布验证方法对统计数据质量进行评估，最后对山西统计局公布的地区国内生产总值数据质量进行验证评估。
关键词：数据质量；Bootstrap 方法；统计分布引言毋庸置疑，大数据时代下，数据充分发挥其价值的必备条件是要有高质量数据。
2021年1月19日统计局局长宁吉喆在题为“推进统计现代改革”中指出：“统计数据作为国家经济发展的晴雨表已经取得了显著的成绩，但它发挥的作用还不够充分，还有待开发，数据质量需要进一步提升”。
统计数据质量的内涵也不再仅仅是准确，大数据背景下，适合的才是最好的，用户需求也是衡量数据质量的一个方面。
近年来，科技发展迅猛，新型技术的发展突飞猛进，物联网、人工智能、云计算的发展让人应接不暇，海量的数据纷繁复杂，如何保证数据的质量，已成为上到国家，下到每一位统计相关者关注的问题，也是我们亟待解决的问题。
在此背景下，数据质量评估无疑是保证高质量数据的前提条件。
在数据评估研究方面，祝君仪（2015）6在《大数据时代背景下统计数据质量的评估方法及适用性分析》一文中分析了目前常用的包括逻辑规则检验、核算数据重估、计量模型分析、统计分布验证、调查偏差评估、多维评估延伸六种评估数据质量的方法，但仅仅是定性分析。
水文随机模拟进展王文圣1,2,金菊良3,李跃清1(11中国气象局成都高原气象研究所,四川成都 610072;21四川大学水利水电工程学院,四川成都 610065;31合肥工业大学土建学院,安徽合肥 230009)摘要:综述了近20年来水文随机模拟的新进展,包括三方面:¹随机水文模型改进和创新;º水文随机模拟应用研究新进展;»水文随机模拟认识新进展。
并指出了今后的研究重点:¹对水文过程的重要物理特性和统计特性作深入的分析;º加强非参数模型和非线性模型的研究;»加强流域系统随机模型的研究;¼加强建立模型时如何综合利用多种信息的研究;½加强模型的各种检验和合理分析。
关 键 词:随机模拟;随机模型;非参数模型;进展中图分类号:P33316;G353111 文献标识码:A 文章编号:100126791(2007)0520768208收稿日期:2005212225;修订日期:2006203215基金项目:国家自然科学基金资助项目(50779042,70771035,50739002)作者简介:王文圣(1970-),男,四川宣汉人,副教授,博士,主要从事水文水资源水环境系统分析。
E 2mail:wang w s70@sina 1co m1 水文随机模拟水文系统受气候和人类活动影响,呈现出非常复杂的行为特征。
在现有社会、经济和技术条件下,对水文系统进行真实的物理实验以揭示其结构和功能,显然是十分困难的。
由于系统的复杂性,目前还不能用准确的数理方程描述并求解。
要了解水文系统各组成间的相互关系,预测水资源开发方案可能产生的效果及对生态的影响,分析系统的发展趋势,当前可行的一类方法就是水文随机模拟。
所谓水文随机模拟[1],指根据水文系统观测资料的统计特性和随机变化规律,建立能预估系统未来水文情势的随机模型,由模型通过统计试验获得大量的模拟序列,再进行水文系统分析计算,解决系统的规划、设计、运行与管理问题的方法。
STATA高级视频教程简介培训目的：STATA高级视频教程的目的是使学员熟练使用STATA进行实证分析工作，主要包括：(1) 掌握多种常用的估计方法（如普通最小二乘法、广义最小二乘法、非线性最小二乘法、最大似然估计、IV估计和GMM）；(2) 学会估计和分析时间序列和面板数据常用模型（如单位根检验、协整分析、VAR、固定效应模型、随机效应模型、动态面板模型、面板单位根检验和面板协整分析等等）；(3) 学会编写一个完整的STATA程序；(4) 学会应用STATA进行抽样和模拟分析，包括Bootstrap和Monte Carlo 模拟分析。
课程简介：（详见课程目录）STATA高级视频教程共9讲，共48个视频文件，总计50余个学时。
第1-5讲介绍计量经济学中最为常用的五种估计方法，包括：普通最小二乘法（OLS）、广义最小二乘法（GLS）、非线性最小二乘法（NLS）、最大似然法（MLE）和广义矩估计法（GMM）。
第6讲介绍时间序列模型，包括：ARIMA模型、VAR模型、单位根检验、协整分析、误差修正模型、GARCH模型。
这些模型基本上涵盖了宏观时间序列、金融时间序列分析中的常用工具。
第7讲介绍面板数据模型，包括：固定效应模型、随机效应模型、异方差和序列相关、动态面板模型、面板随机系数模型、面板随机前沿模型、面板单位根检验、面板协整分析等。
这些模型由浅入深，基本上涵盖了目前文献中使用的多数面板分析方法。
第8讲介绍STATA编程技巧，包括：输入项、输出项的设定，子程序、可分组执行、可重复执行等程序高级功能，以及帮助文件的编写方法。
通过本讲的学习，学员将能够独立编写复杂的STATA程序，这些程序和STATA官方提供的程序完全一致。
第9讲介绍自抽样和模拟分析，包括：Bootstrap(自抽样)、组合检验(Permutation tests)、刀切法(Jackknife)和蒙特卡洛模拟。
不同于传统的假设检验和统计推断方法，这些方法都是以计算机模拟和抽样为基础的，在最近十年中得到了越来越广泛的应用。
关于分层线性模型样本容量问题的研究张璇王嘉宇2011-12-13 14:33:23 来源：《统计与决策》(武汉)2010年15期第4～8页内容提要：文章运用Jackknife和Boostrap的方法，对参数估计的方差进行改进，构造了合适的参数估计的置信区间。
通过样本组数和组内个体数的变化，利用数据模拟的方法进行研究，表明参数估计的可靠性很大程度上依赖于组数；对于固定效应参数，组数取30就可以得到可靠的估计值。
对于σ和方差协方差成分T，组数分别取50和70才能得到可靠的估计。
关键词：分层线性模型参数估计的覆盖率 Jackknife Boostrap 数据模拟作者简介：张璇(1979-)，女，湖南湘潭人，中国人民大学统计学院博士研究生，讲师，研究方向：统计模型及其计算、计量经济学（北京100084）；王嘉宇，卡尔斯塔德大学国民经济与统计系，乌普萨拉大学信息科学与统计系（瑞典65188）。
1研究背景很多社会研究都涉及分层数据结构，例如，经济学家探求在多个国家中经济政策是如何影响居民的消费行为，研究采集的观测数据不仅包括以国家为层次的经济指标，还包括以家庭为单位的信息，因此整个观测的数据结构是分层的。
此时，同属一个层次的个体之间的相关性会大于来自不同层次的个体之间的相关性，整个观测样本就不再具有独立同分布性质，如果继续使用经典的线性回归模型，就会得到有偏的参数估计和错误的统计推断结果。
近年来，随着分层线性模型统计理论的发展，一套完整的应用于分层结构数据的统计推断方法已经建立起来，并且能得到有效的参数估计。
分层线性模型(hierarchical linear models)的称谓最早由Lindley和Smith(1972)[1]提出。
这个模型在不同的研究领域有不同的称呼，在社会学研究中，它经常被称为多层线性模型(multilevel linear model)；在生物统计研究中常用的名字是混合效应模型(mixed-effects models)和随机效应模型(random-effects models)；计量经济学文献称之为随机系数回归模型(random-coefficient regression models)等。
云斑斜线天蛾在我国的适生性及限制性环境因子分析作者：刘博王晔楠唐超刘丽马光昌彭正强阎伟来源：《热带作物学报》2021年第12期摘要：云斑斜线天蛾是一种为害抗风桐的迁飞性昆虫，在我国西沙群岛多个岛屿发生。
阐明云斑斜线天蛾在我国的适生区分布及其主要限制环境因子，可为该害虫扩散预警与防控提供理论依据。
本文利用MaxEnt模型对云斑斜线天蛾在我国的潜在适生区进行预测，通过调整调控倍频和特征组合参数建立最优模型，使用刀切法及环境变量响应曲线对影响云斑斜线天蛾分布的环境因子进行评估。
结果表明：云斑斜线天蛾在我国的潜在适生区位于海南、台湾、广东、广西、云南、贵州、湖南、江西、福建、浙江、安徽、湖北、四川、重庆、西藏;最冷月最低温（bio06）、昼夜温差月均值（bio02）、最暖季降水量（bio18）是影响云斑斜线天蛾潜在地理分布的主导环境因子。
云斑斜线天蛾在我国南海诸岛具有较高危险性，建议建立监测预警与防控系统，将该害虫控制在合理水平。
关键词：云斑斜线天蛾;MaxEnt模型;适生区;南海诸岛;抗风桐中图分类号：S31 文献标识码：AAbstract： Hippotion velox is a migratory insect that damages Pisonia grandis. It occurs in many islands of China Paracel Islands. MaxEnt model was used to to clarify the potential suitable area and the main environmental factors of H. velox in China and to provide a theoretical basis for the early warning and prevention of the insect. An optimal model by adjusting the regularization multiplier and feature combination parameters was established. The environmental factors affecting the distribution of H. velox were evaluated using the jackknife method and the response curve of environmental variables. The potential suitable area of H. velox are distributed in Hainan， Taiwan， Guangdong，Guangxi， Yunnan， Guizhou， Hunan， Jiangxi， Fujian， Zhejiang， Anhui， Hubei，Sichuan， Chongqing， Tibet. The min temperature of the coldest month （bio06）， the mean diurnal range （bio02） and the precipitation of warmest quarter （bio18） are the dominant environmental factors affecting the potential suitable area of H. velox. H. velox has a high risk in the South China Sea islands. It is recommended to establish an early warning and control system to to control the pest at a reasonable level.Keywords： Hippotion velox; MaxEnt model; potential suitable area; South China Sea Islands; Pisonia grandisDOI： 10.3969/j.issn.1000-2561.2021.12.027云斑斜线天蛾[Hippotion velox （Fabricius， 1793）]属鳞翅目（Lepidoptera）天蛾科（Sphingidae），是一种主要分布于亚洲和澳洲热带、亚热带地区的活跃的迁徙害虫[1]。
R语⾔学习笔记缺失数据的Bootstrap与Jackknife⽅法⽬录⼀、题⽬⼆、解答a）Bootstrap与Jackknife进⾏估计b）均值与变异系数（⼤样本）的标准差解析式推导与计算c）缺失插补前的Bootstrap与Jackknifed）⽐较各种⽅式的90%置信区间情况（重复100次实验）填补之前进⾏Bootstrap或Jackknife填补之后进⾏Bootstrap或Jackknife⼀、题⽬下⾯再加⼊缺失的情况来继续深⼊探讨，同样还是如习题1.6的构造⽅式来加⼊缺失值，其中a=2， b = 0我们将进⾏如下⼏种操作：⼆、解答a）Bootstrap与Jackknife进⾏估计⾸先构建⽣成数据函数。
# ⽣成数据# ⽣成数据GenerateData <- function(a = 0, b = 0) {y <- matrix(nrow = 3, ncol = 100)z <- matrix(rnorm(300), nrow = 3)y[1, ] <- 1 + z[1, ]y[2, ] <- 5 + 2 * z[1, ] + z[2, ]u <- a * (y[1, ] - 1) + b * (y[2, ] - 5) + z[3, ]# m2 <- 1 * (u < 0)y[3, ] <- y[2, ]y[3, u < 0] <- NAdat_comp <- data.frame(y1 = y[1, ], y2 = y[2, ])dat_incomp <- data.frame(y1 = y[1, ], y2 = y[3, ])# dat_incomp <- na.omit(dat_incomp)return(list(dat_comp = dat_comp, dat_incomp = dat_incomp))}Bootstrap与Jackknife的函数：Bootstrap1 <- function(Y, B = 200, fun) {Y_len <- length(Y)mat_boots <- matrix(sample(Y, Y_len * B, replace = T), nrow = B, ncol = Y_len)statis_boots <- apply(mat_boots, 1, fun)boots_mean <- mean(statis_boots)boots_sd <- sd(statis_boots)return(list(mean = boots_mean, sd = boots_sd))}Jackknife1 <- function(Y, fun) {Y_len <- length(Y)mat_jack <- sapply(1:Y_len, function(i) Y[-i])redu_samp <- apply(mat_jack, 2, fun)jack_mean <- mean(redu_samp)jack_sd <- sqrt(((Y_len - 1) ^ 2 / Y_len) * var(redu_samp))return(list(mean = jack_mean, sd = jack_sd))}进⾏重复试验所需的函数：RepSimulation <- function(seed = 2018, fun) {set.seed(seed)dat <- GenerateData()dat_comp_y2 <- dat$dat_comp$y2boots_sd <- Bootstrap1(dat_comp_y2, B = 200, fun)$sdjack_sd <- Jackknife1(dat_comp_y2, fun)$sdreturn(c(boots_sd = boots_sd, jack_sd = jack_sd))}下⾯重复100次实验进⾏ Y2的均值与变异系数标准差的估计：nrep <- 100## 均值fun = meanmat_boots_jack <- sapply(1:nrep, RepSimulation, fun)apply(mat_boots_jack, 1, function(x) paste(round(mean(x), 3), '±', round(sd(x), 3)))## 变异系数fun = function(x) sd(x) / mean(x)mat_boots_jack <- sapply(1:nrep, RepSimulation, fun)apply(mat_boots_jack, 1, function(x) paste(round(mean(x), 3), '±', round(sd(x), 3)))从上⾯可以发现，Bootstrap与Jackknife两者估计结果较为相近，其中对均值标准差的估计，Jackknife的⽅差更⼩。
大家好：我在此介绍几个进化树分析及其相关软件的使用和应用范围。
这几个软件分别是PHYLIP、PUZZLE、PAUP、TREEVIEW、CLUSTALX和PHYLO-WIN （LINUX）。
在介绍软件之前，我先简要地叙述一下有关进化树分析的一些方法学问题。
进化树也称种系树，英文名叫“Phyligenetic tree”。
对于一个完整的进化树分析需要以下几个步骤：⑴要对所分析的多序列目标进行排列（To align sequences）。
做ALIGNMENT的软件很多，最经常使用的有CLUSTALX和CLUSTALW，前者是在WINDOW下的而后者是在DOS下的。
⑵要构建一个进化树（To reconstrut phyligenetic tree）。
构建进化树的算法主要分为两类：独立元素法（discrete character methods）和距离依靠法（distance methods）。
所谓独立元素法是指进化树的拓扑形状是由序列上的每个碱基/氨基酸的状态决定的（例如：一个序列上可能包含很多的酶切位点，而每个酶切位点的存在与否是由几个碱基的状态决定的，也就是说一个序列碱基的状态决定着它的酶切位点状态，当多个序列进行进化树分析时，进化树的拓扑形状也就由这些碱基的状态决定了）。
而距离依靠法是指进化树的拓扑形状由两两序列的进化距离决定的。
进化树枝条的长度代表着进化距离。
独立元素法包括最大简约性法（Maximum Parsimony methods）和最大可能性法（Maximum Likelihood methods）；距离依靠法包括除权配对法（UPGMAM）和邻位相连法（Neighbor-joining）。
⑶对进化树进行评估。
主要采用Bootstraping法。
进化树的构建是一个统计学问题。
我们所构建出来的进化树只是对真实的进化关系的评估或者模拟。
如果我们采用了一个适当的方法，那么所构建的进化树就会接近真实的“进化树”。
复杂调查资料的特点与统计分析方法概述崔壮;胡良平【摘要】复杂抽样是在抽样过程中采用除一阶段单纯随机抽样外,其他抽样方法或其组合的抽样方案.本文对复杂抽样资料的特点、基于复杂调查资料进行差异性分析、多重回归分析以及进行生存资料多重回归分析的要点进行宏观概述.为科研工作者进行复杂抽样资料的分析提供参考和借鉴.【期刊名称】《四川精神卫生》【年(卷),期】2017(030)005【总页数】5页(P410-414)【关键词】复杂调查;特点;抽样权重;统计分析技术;多重回归分析【作者】崔壮;胡良平【作者单位】天津医科大学公共卫生学院卫生统计学教研室,天津 300070;军事医学科学院生物医学统计学咨询中心,北京 100850;世界中医药学会联合会临床科研统计学专业委员会,北京 100029【正文语种】中文【中图分类】R195.11.1 何为复杂抽样复杂抽样是指在抽样过程中采用除一阶段单纯随机抽样外，其他抽样方法或其组合的抽样方案，通过复杂抽样完成的调查称为复杂调查[1]。
复杂抽样通常具有分层、整群、不等概率或多阶段设计等方法，其产生的样本称为复杂样本。
复杂抽样有以下优点：节省人力物力，使大规模调查更具可行性；可灵活调整样本量在各级抽样单位中的分配；可通过改变抽样比来提高子总体的代表性和估计的可靠性。
因此，目前在社会科学领域以及卫生领域调查研究中[2]，尤其是大规模调查，一般涉及多地区或多中心的抽样问题，由于单纯随机抽样因调查对象过于分散、成本高且可行性较低[3]，故选择复杂抽样设计。
1.2 分析复杂抽样资料的困难复杂随机抽样中每个阶段的抽样方法不一定相同，其抽样误差的计算随着抽样阶段及抽样方法的增多变得极为复杂。
然而，研究者在统计分析时，常忽略之前采取的抽样设计方法，将资料均视为来自单纯随机抽样设计下获得的资料来处理。
实际上，在不同抽样率下得到的等量样本量的样本数据所包含的信息是不同的，即“抽样权重”不同[4]。
