下载文档原格式
【机器学习】Jackknife，Bootstraping,bagging,boosting。
Jackknife，Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting这些术语，我经常搞混淆，现在把它们放在⼀起，以⽰区别。
(部分⽂字来⾃⽹络，由于是之前记的笔记，忘记来源了，特此向作者抱歉）Bootstraping: 名字来⾃成语“pull up by your own bootstraps”，意思是依靠你⾃⼰的资源，称为⾃助法，它是⼀种有放回的抽样⽅法，它是⾮参数统计中⼀种重要的估计统计量⽅差进⽽进⾏区间估计的统计⽅法。
其核⼼思想和基本步骤如下： （1）采⽤重抽样技术从原始样本中抽取⼀定数量（⾃⼰给定）的样本，此过程允许重复抽样。
（2）根据抽出的样本计算给定的统计量T。
（3）重复上述N次（⼀般⼤于1000），得到N个统计量T。
（4）计算上述N个统计量T的样本⽅差，得到统计量的⽅差。
应该说Bootstrap是现代统计学较为流⾏的⼀种统计⽅法，在⼩样本时效果很好。
通过⽅差的估计可以构造置信区间等，其运⽤范围得到进⼀步延伸。
Jackknife：和上⾯要介绍的Bootstrap功能类似，只是有⼀点细节不⼀样，即每次从样本中抽样时候只是去除⼏个样本（⽽不是抽样），就像⼩⼑⼀样割去⼀部分。
(pku， sewm，shinningmonster.)============================================================================================================================下列⽅法都是上述Bootstraping思想的⼀种应⽤。
bagging：bootstrap aggregating的缩写。
Bootstrap和Jackknife的初步认识作者：乔汭熙来源：《东方教育》2017年第11期摘要：本文总结了Bootstrap和Jackknife的相关理论知识与已有研究；利用R语言进行模拟，设计复杂抽样方案并进行抽样，对Bootstrap和Jackknife的部分性质进行了验证与解释。
除此之外，本文还对Bootstrap和Jackknife估计量的性质进行了简要的介绍，并对方法的改进进行了讨论。
关键词：复杂抽样；Bootstrap；Jackknife；估计一、发展历史与研究现状Jackknife是由Quenouille（1949）引入的一种方法，又称刀切法。
Jackknife方法的思想是，通过从原始数据集中每次删除一个数据并利用其余数据重新计算估计量，根据得到的一组估计值，可以对待估参数及其他性质进行估计。
Quenouille在1949年提出，可以通过将样本划分为两个半样本的方式，以减少序列相关的估计量的偏差。
在其1956年的研究中，提出将样本量为n的样本划分为g组大小为h的样本的方法，并讨论了这种方法的可行性[1][2]。
Jackknife方法在对残差的估计（P.S.R.S Rao and J.N.K.Rao，1970）、区间估计（Tukey）、极大似然估计（Fryer，1970）等方面优良性质均已被证明[1]。
对于多元的Jackknife，Dempster在其1966的研究中，提出了一种改进的Jackknife方法，用于处理典型相关问题。
Layard（1972）指出，当传统正态方法对两个协方差矩阵相等性的检验不稳健时，Jackknife方法可以很好的处理。
Lachenbruch和Mickey[1]提出了U方法（实际是Jackknife方法的应用）进行判别分析。
L.B.Jaeckel提出一种无穷细分的刀切法，虽然此方法不如原始Jackknife方法实用，但却在Jackknife和稳健估计量之间建立了桥梁（1972）。
收稿日期：2009-10-12接受日期：2009-12-06基金项目：安徽省教育厅重点项目（KJ2009A052Z ）；宿州学院人才基金（2007YSS10）作者简介：赵亮，男，博士，副教授，研究方向：保护遗传学，E-mail ：zhaoliang@ioz．ac．cn *通讯作者Corresponding author ，E-mail ：lim@ioz．ac．cn Bootstrap 方法及其在生物学研究中的应用赵亮1，3，程锦秀2，许木启3，李明3*（1．安徽宿州学院化学与生命科学系，安徽宿州234000；2．安徽宿州学院继续教育学院，安徽宿州234000；3．中国科学院动物研究所，动物生态与保护遗传学重点实验室，北京100101）摘要：Bootstrap 方法是以原始数据为基础的模拟抽样统计推断法，特别适用于那些难以用常规方法导出的参数的区间估计、假设检验等问题。
本文介绍了该方法的基本思想及具体步骤，并附有生物学研究中应用的实例。
生物科学中有许多数据总体分布信息往往很难确定，难以用常规的方法进行统计分析，因此Bootstrap 方法在生物科学研究中具有很大的应用价值。
关键词：Bootstrap 方法；区间估计；假设检验中图分类号：O212文献标识码：B文章编号：1000－7083（2010）04－0638－04Bootstrap Method and its Application in BiologyZHAO Liang 1，3，CHENG Jin-xiu 2，XU Mu-qi 3，LI Ming 3*（1．Department of Biology ，Suzhou College ，Suzhou ，Anhui Province 234000，China ；2．Department of Continuing Education ，Suzhou College ，Suzhou ，Anhui Province 234000，China ；3．Key Laboratory of Animal Ecology andConservation Biology ，Institute of Zoology ，Chinese Academy of Sciences ，Beijing 100101，China ）Abstract ：The bootstrap method is a data-based simulation to carry out familiar statistical calculations ，such as confidence intervals estimated ，statistic inference ，et al ．By purely computation means rather than using of statistical formulas ，it is useful especially when the statistical formulas are hard to be got．This article introduced the bootstrap method ，including bootstrap basic ideas and procedures and illustrated its application in biology with some examples．Along with the quick de-velopment of computer techniques ，this method is now surging into widely practical use in biological studies．Key words ：bootstrap ；confidence intervals estimated ；statistic inference统计推断是从样本资料推断相应的总体特征，包括参数估计和假设检验。
146金融经济FINANCIAL AND ECONOMIC课题名称：山西省社会经济统计科学研究立项课题 编号 KY 〔2020〕121基于Bootstrap 方法的统计数据质量评价研究张会清 晋中信息学院摘要：统计的作用在于服务国家宏观决策和人民生产生活，它在反映国民经济和社会发展水平、为党和国家制定正确的决策、预测未来发展趋势等方面发挥着举足轻重的作用。
统计数据要实现以上功能，必须保证统计数据高质量。
数据作为生产要素，在数据要素市场化过程中，如果不能保证其质量，数据价值不但得不到体现，反而会给使用者带来不良的后果。
本文首先介绍了数据质量的概念和Bootstrap 方法的基本原理，然后基于Bootstrap 抽样并应用统计分布验证方法对统计数据质量进行评估，最后对山西统计局公布的地区国内生产总值数据质量进行验证评估。
关键词：数据质量；Bootstrap 方法；统计分布引言毋庸置疑，大数据时代下，数据充分发挥其价值的必备条件是要有高质量数据。
2021年1月19日统计局局长宁吉喆在题为“推进统计现代改革”中指出：“统计数据作为国家经济发展的晴雨表已经取得了显著的成绩，但它发挥的作用还不够充分，还有待开发，数据质量需要进一步提升”。
统计数据质量的内涵也不再仅仅是准确，大数据背景下，适合的才是最好的，用户需求也是衡量数据质量的一个方面。
近年来，科技发展迅猛，新型技术的发展突飞猛进，物联网、人工智能、云计算的发展让人应接不暇，海量的数据纷繁复杂，如何保证数据的质量，已成为上到国家，下到每一位统计相关者关注的问题，也是我们亟待解决的问题。
在此背景下，数据质量评估无疑是保证高质量数据的前提条件。
在数据评估研究方面，祝君仪（2015）6在《大数据时代背景下统计数据质量的评估方法及适用性分析》一文中分析了目前常用的包括逻辑规则检验、核算数据重估、计量模型分析、统计分布验证、调查偏差评估、多维评估延伸六种评估数据质量的方法，但仅仅是定性分析。
水文随机模拟进展王文圣1,2,金菊良3,李跃清1(11中国气象局成都高原气象研究所,四川成都 610072;21四川大学水利水电工程学院,四川成都 610065;31合肥工业大学土建学院,安徽合肥 230009)摘要:综述了近20年来水文随机模拟的新进展,包括三方面:¹随机水文模型改进和创新;º水文随机模拟应用研究新进展;»水文随机模拟认识新进展。
并指出了今后的研究重点:¹对水文过程的重要物理特性和统计特性作深入的分析;º加强非参数模型和非线性模型的研究;»加强流域系统随机模型的研究;¼加强建立模型时如何综合利用多种信息的研究;½加强模型的各种检验和合理分析。
关 键 词:随机模拟;随机模型;非参数模型;进展中图分类号:P33316;G353111 文献标识码:A 文章编号:100126791(2007)0520768208收稿日期:2005212225;修订日期:2006203215基金项目:国家自然科学基金资助项目(50779042,70771035,50739002)作者简介:王文圣(1970-),男,四川宣汉人,副教授,博士,主要从事水文水资源水环境系统分析。
E 2mail:wang w s70@sina 1co m1 水文随机模拟水文系统受气候和人类活动影响,呈现出非常复杂的行为特征。
在现有社会、经济和技术条件下,对水文系统进行真实的物理实验以揭示其结构和功能,显然是十分困难的。
由于系统的复杂性,目前还不能用准确的数理方程描述并求解。
要了解水文系统各组成间的相互关系,预测水资源开发方案可能产生的效果及对生态的影响,分析系统的发展趋势,当前可行的一类方法就是水文随机模拟。
所谓水文随机模拟[1],指根据水文系统观测资料的统计特性和随机变化规律,建立能预估系统未来水文情势的随机模型,由模型通过统计试验获得大量的模拟序列,再进行水文系统分析计算,解决系统的规划、设计、运行与管理问题的方法。
STATA高级视频教程简介培训目的：STATA高级视频教程的目的是使学员熟练使用STATA进行实证分析工作，主要包括：(1) 掌握多种常用的估计方法（如普通最小二乘法、广义最小二乘法、非线性最小二乘法、最大似然估计、IV估计和GMM）；(2) 学会估计和分析时间序列和面板数据常用模型（如单位根检验、协整分析、VAR、固定效应模型、随机效应模型、动态面板模型、面板单位根检验和面板协整分析等等）；(3) 学会编写一个完整的STATA程序；(4) 学会应用STATA进行抽样和模拟分析，包括Bootstrap和Monte Carlo 模拟分析。
课程简介：（详见课程目录）STATA高级视频教程共9讲，共48个视频文件，总计50余个学时。
第1-5讲介绍计量经济学中最为常用的五种估计方法，包括：普通最小二乘法（OLS）、广义最小二乘法（GLS）、非线性最小二乘法（NLS）、最大似然法（MLE）和广义矩估计法（GMM）。
第6讲介绍时间序列模型，包括：ARIMA模型、VAR模型、单位根检验、协整分析、误差修正模型、GARCH模型。
这些模型基本上涵盖了宏观时间序列、金融时间序列分析中的常用工具。
第7讲介绍面板数据模型，包括：固定效应模型、随机效应模型、异方差和序列相关、动态面板模型、面板随机系数模型、面板随机前沿模型、面板单位根检验、面板协整分析等。
这些模型由浅入深，基本上涵盖了目前文献中使用的多数面板分析方法。
第8讲介绍STATA编程技巧，包括：输入项、输出项的设定，子程序、可分组执行、可重复执行等程序高级功能，以及帮助文件的编写方法。
通过本讲的学习，学员将能够独立编写复杂的STATA程序，这些程序和STATA官方提供的程序完全一致。
第9讲介绍自抽样和模拟分析，包括：Bootstrap(自抽样)、组合检验(Permutation tests)、刀切法(Jackknife)和蒙特卡洛模拟。
不同于传统的假设检验和统计推断方法，这些方法都是以计算机模拟和抽样为基础的，在最近十年中得到了越来越广泛的应用。
