统计思维

当今信息科技高速发展，大数据已经成为一种新的生产力，驱动传统行业发生重大变革。

由于大数据具有4V（Volume， Variety， Velocity和Veracity）特性 [1] ，传统统计思维方法已不能完全满足时代需求，大数据思维方式亦应运而生。

大数据思维与传统统计思维类似，都是对现实世界的数据和现象进行科学分析和判断，从而揭示事物的内在本质，判断其发展变化规律。

然而，由于这两种思维方式各有其自身特点，其研究重点和应用领域也各自不同，所有我们就需要对这两种思维方式进行研究，从而开阔视野，从多个角度以多种方法解决问题。

1 大数据思维与传统统计思维方式的区别1.1 研究对象不同总体性和样本性，是大数据思维和传统统计思维研究对象的根本区别。

在传统统计思维中，受传统分析方法的限制，抽样分析是最常用的统计方法，即按随机性原则，从总体单位中随机抽取部分单位作为样本进行统计分析，并以其结果推断总体有关指标的一种统计方法。

实践证明：抽样分析精确性受抽样随机性影响较大，增加随机性，精确度将大幅提高；增加样本数量，精确度影响不大，因此样本选择的随机性比样本数量更为重要。

用样本数据去推断全部样本的情况，是传统统计方法分析数据的常用方法，但在现实中，这种方法可能无法展示事物的全貌，其抽样的代表性有存在偏差的可能，其推断的结果需要验证。

在大数据背景下，所有海量数据都可以存储在云存储上，大数据思维不再采用传统的随机抽样方式，而是采用“样本即总体” 的全数据思维方式，采用大数据特殊算法，利用云计算强大的计算能力，计算分析全部数据，从而发现传统统计方法无法揭示的细节信息，找出深藏在数据中不易被发现的秘密。

1.2 研究方法不同在传统统计工作中，统计方法一般是基于事务间的相关性、先验信息，根据收集的统计样本，采用传统统计学的推断方法进行因果关系的推断。

而大数据是建立在总体数据之上，排除人为假设，通过大数据算法，挖掘出数据深处的意义，发现深层次的因果关系，从而进行科学的预测和判断。

大数据与统计思维导论心得体会首先，想谈一谈何为大数据，何为大数据时代。

大数据是一种资源，也是一种工具。

它提供一种新的思维方式去理解当今这个信息化世界。

为何说是一种新的思维方式：在信息缺乏的时代或模拟时代，我们更倾向于精确性的思维方式，就像是”钉是钉，铆是铆”，而在这种传统的思维方式下，我们得到问题的答案只有一个。

而在大数据时代下，我们打破了这种思维方式，换句话说，我们接受结果的不确定性。

简言概括之，我认为大数据是一种预测模型。

在大数据时代下，我们关注的不是因果，即为什么是这样，而更关心”是什么”这种相关关系。

换句话说，在这种新思维的思考方式下，我们探究问题背后的原因也是不可行的。

我们所做的是利用大数据这种工具，让数据自己说话！其次，我想谈下如何利用大数据提升我军战斗力。

当然，大数据分析并不是精准的预测，精准的预测也是不存在的。

大数据只能有利于我们理解现在和预测未来的可能性。

我所关注的是如何利用好大数据的工具提升我军战斗力，打赢这场信息化战争。

毫无疑问，现在我们打的不是刀对刀，枪对枪的战争，更不是模拟时代，当代乃是数字时代，打的是信息化战争！四次战争的大胜，美军的战争形态从机械化转向信息化，而且相应的在战场取胜的时间也越来越短，这正是大数据时代下的必然结果。

而我军正在转向信息化的过程中。

在此战争形态的过程中，我们需要更多的计算分析师，大数据分析师，数学家等高等技术性人才来打赢这场信息化战争。

这正是大数据时代下我们不得不有的基础。

我军战斗力的提升迫在眉睫！当然大数据是一把双刃剑，利用好了取胜也是得心应手，相反，利用不好会导致不可估量的损失。

毕竟，这只是一种预测模型，得不到精准的预测结果。

我们更要让数据为我们所用，不要被庞大的数据库框住我们的思维。

为适应时代的发展，在这个适者生存，弱肉强食的世界，大数据时代下的残酷竞争已经给我们敲响警钟，一场悄无声息的信息化战争已经打响！。

【1082.】不懂统计思维的统计是没有灵魂的！松哥一直纳闷一个问题，为啥咱本科生、硕士生以及博士生时，都学过统计，可是为啥一到自己独立处理科研数据就茫然不知所措，甚至连选择什么统计方法均不知道？究其原因，统计学确实难懂其奥，另外一点，就是大家在学习统计学的时候，忽视了统计学的思维，“没有统计思维的统计学的学习，是没有灵魂的”，因此才会“空有一身武艺，不知耍出那般武艺方可破敌千里”。

那统计的灵魂、或者说统计的思维是什么呢？大道至简，松哥给大家整理如下：1.抽样思想除非研究目的特殊，否则不可能获取到总体，几乎都是总体中的样本，而样本都是从总体中按照随机化的原则抽取获得的。

抽样思想的精髓为化繁为简，化无限为有限，化不可能为可能。

通过抽样我们可以获取研究样本，对有限的研究样本进行研究，从而得到样本统计量，并进而对总体进行推断。

2.推断思想样本统计量是实际可以检测获得的，而我们研究的目的总体。

因为抽样误差的必然存在，因此，样本统计量不等于总体参数，但会与总体参数比较的接近。

我们在一定误差的控制下，可以通过样本统计量去预测总体参数。

包括点估计和区间范围估计。

3.小概率思想小概率事件的应用意义是：小概率事件在一次抽样过程中发生的概率为0。

因此，一旦我们判断出某事件的发生概率P≤0.05，我们判断该事件在个体水平不会发生。

小概率思想是统计推断的核心，是统计学应用的基础。

假设检验就是反证法与小概率事件思想相结合的具体体现。

大意：别太低调，否则大家就忽略你哦！（P≤0.05or P≤0.01）4.反证法思想反证法的思想，松哥一直思之神奇，有一种隔山打鸟，指桑骂槐之感。

如下图，一个警察追一个小偷至一个Y型路口，但不知道小偷跑那边去了。

但通过统计分析，小偷往右边跑的概率，P<0.05，那么结合小概率的思想，小偷只能往左边跑了。

反证法+小概率，这两个简直就是绝配！科研中，验证某药是否有疗效，可以假设H0：药物无效，H1：药物有效。

1.5 同质与变异（homogeneity and variation）
• （一）同质：
• 是指观察单位所受的影响因素相同。而我们科研的观察单位所 受的影响因素只可能相对的相同，不可能绝对的相同，因此， 同质是相对的。我们科研所确定的总体或者样本，在某些因素 上必须是同质的，我们才能将其作为一个群体进行研究。
• 随机化原则是指我们在选择受试对象、对 受试对象分组以及对受试对象施加不同的 干预措施时，受试对象被抽到的概率、被 随机分到各组的概率以及接受不同干预措 施的概率是相等的。
• 统计学中随机化具体体现包括随机化抽样、随 机化分组和随机化顺序。
• 随机化抽样：是指我们从研究总体中抽取研究 样本时，总体中的任何一个个体被抽到作为样 本进行研究的概率相等。
计数变量
• 计数变量反映的是无不相容的属性和类别， 反映的是一种我中无你，你中无我的关系。 常通过计数的方式获得。如血型（A、B、O 和AB）、性别（男、女）、生肖属相、民 族等。计数变量之间支持不等号（≠）。计 数变量又称为分类变量，无序分类变量。
等级资料
• 等级变量具备计数变量的性质，同时具有 半定量比较的性质，如病情（轻、中、 重）、职称（初级、中级、高级）、学历 （文盲、小学、中学、本科及以上）、福 利待遇（好、中、差）。这类资料各水平 之间互不相容，但又有级别上的轻重关系。 等级变量支持大于号和小于号（＞/＜）。
• （二）变异
• 变异：是指观察单位在同质的基础上的个体差异。很多哲言或 谚语都在说明变异的存在，如天底下没有两片完全一样的树叶； 一个人不可能两次踏入同一条河流；刚才说话的我已经不是现 在说话的我了；以及天下唯一不变的就是变化。因此，变异是 绝对的。
1.6 随机• 因素是可能对应变量有影响的变量，而分析的目的