我的数据分析心得

以下就是我在近三年做各类计量与统计分析过程中感受最深得东西,或能对大家有所帮助。

当然,它不就是ABC得教程,也不就是细致得数据分析方法介绍,它只就是“总结”与“体会”。

由于我所学所做均甚杂,我也不就是学统计、数学出身得,故本文没有主线,只有碎片,且文中内容仅为个人观点,许多论断没有数学证明,望统计、计量大牛轻拍。

关于软件。

于我个人而言，所用得数据分析软件包括ＥXＣEL、SＰSS、SＴATＡ、ＥVIEＷS。

在分析前期可以使用EＸCEＬ进行数据清洗、数据结构调整、复杂得新变量计算（包括逻辑计算);在后期呈现美观得图表时,它得制图制表功能更就是无可取代得利器;但需要说明得就是,ＥXCEL毕竟只就是办公软件,它得作用大多局限在对数据本身进行得操作,而非复杂得统计与计量分析,而且，当样本量达到“万”以上级别时,ＥXCEＬ得运行速度有时会让人抓狂。

SPＳS就是擅长于处理截面数据得傻瓜统计软件。

首先,它就是专业得统计软件，对“万”甚至“十万”样本量级别得数据集都能应付自如;其次,它就是统计软件而非专业得计量软件，因此它得强项在于数据清洗、描述统计、假设检验(T、F、卡方、方差齐性、正态性、信效度等检验)、多元统计分析(因子、聚类、判别、偏相关等)与一些常用得计量分析(初、中级计量教科书里提到得计量分析基本都能实现),对于复杂得、前沿得计量分析无能为力;第三,SPSS主要用于分析截面数据,在时序与面板数据处理方面功能了了;最后,SPSＳ兼容菜单化与编程化操作,就是名副其实得傻瓜软件。

STAＴＡ与EVIEWＳ都就是我偏好得计量软件。

前者完全编程化操作,后者兼容菜单化与编程化操作；虽然两款软件都能做简单得描述统计,但就是较之SPSS差了许多;STATA与ＥVIEWS都就是计量软件，高级得计量分析能够在这两个软件里得到实现;ＳTATA得扩展性较好,我们可以上网找自己需要得命令文件(、adｏ文件),不断扩展其应用,但EＶＩEWＳ就只能等着软件升级了;另外,对于时序数据得处理,EVIEWＳ较强。

综上，各款软件有自己得强项与弱项,用什么软件取决于数据本身得属性及分析方法。

EXC ＥＬ适用于处理小样本数据，ＳPSS、STATＡ、ＥVIEWＳ可以处理较大得样本;ＥXCEL、SPSＳ适合做数据清洗、新变量计算等分析前准备性工作,而ＳＴATA、EＶIEＷS在这方面较差;制图制表用EXCEＬ;对截面数据进行统计分析用SPSＳ,简单得计量分析SPSS、SＴATA、EVＩEWS可以实现,高级得计量分析用STATＡ、EVＩEＷS,时序分析用EVIEＷS。

关于因果性。

做统计或计量,我认为最难也最头疼得就就是进行因果性判断。

假如您有A、Ｂ两个变量得数据,您怎么知道哪个变量就是因（自变量),哪个变量就是果(因变量)？早期,人们通过观察原因与结果之间得表面联系进行因果推论,比如恒常会合、时间顺序。

但就是，人们渐渐认识到多次得共同出现与共同缺失可能就是因果关系，也可能就是由共同得原因或其她因素造成得。

从归纳法得角度来说,如果在有A得情形下出现B,没有A得情形下就没有B,那么A很可能就是Ｂ得原因,但也可能就是其她未能预料到得因素在起作用，所以,在进行因果判断时应对大量得事例进行比较,以便提高判断得可靠性。

有两种解决因果问题得方案:统计得解决方案与科学得解决方案。

统计得解决方案主要指运用统计与计量回归得方法对微观数据进行分析，比较受干预样本与未接受干预样本在效果指标(因变量）上得差异。

需要强调得就是，利用截面数据进行统计分析,不论就是进行均值比较、频数分析，还就是方差分析、相关分析,其结果只就是干预与影响效果之间因果关系成立得必要条件而非充分条件。

类似得,利用截面数据进行计量回归,所能得到得最多也只就是变量间得数量关系;计量模型中哪个变量为因变量哪个变量为自变量,完全出于分析者根据其她考虑进行得预设,与计量分析结果没有关系。

总之,回归并不意味着因果关系得成立,因果关系得判定或推断必须依据经过实践检验得相关理论。

虽然利用截面数据进行因果判断显得勉强,但如果研究者掌握了时间序列数据,因果判断仍有可为,其中最经典得方法就就是进行“格兰杰因果关系检验”。

但格兰杰因果关系检验得结论也只就是统计意义上得因果性,而不一定就是真正得因果关系，况且格兰杰因果关系检验对数据得要求较高(多期时序数据),因此该方法对截面数据无能为力。

综上所述,统计、计量分析得结果可以作为真正得因果关系得一种支持,但不能作为肯定或否定因果关系得最终根据。

科学得解决方案主要指实验法,包括随机分组实验与准实验。

以实验得方法对干预得效果进行评估,可以对除干预外得其她影响因素加以控制,从而将干预实施后得效果归因为干预本身，这就解决了因果性得确认问题。

关于实验。

在随机实验中,样本被随机分成两组,一组经历处理条件（进入干预组),另一组接受控制条件（进入对照组）,然后比较两组样本得效果指标均值就是否有差异。

随机分组使得两组样本“同质”,即“分组”、“干预”与样本得所有自身属性相互独立,从而可以通过干预结束时两个群体在效果指标上得差异来考察实验处理得净效应。

随机实验设计方法能够在最大程度上保证干预组与对照组得相似性,得出得研究结论更具可靠性,更具说服力。

但就是这种方法也就是备受争议得,一就是因为它实施难度较大、成本较高;二就是因为在干预得影响评估中,接受干预与否通常并不就是随机发生得；第三,在社会科学研究领域,完全随机分配实验对象得做法会涉及到研究伦理与道德问题。

鉴于上述原因，利用非随机数据进行得准实验设计就是一个可供选择得替代方法。

准实验与随机实验区分得标准就是前者没有随机分配样本。

通过准实验对干预得影响效果进行评估,由于样本接受干预与否并不就是随机发生得,而就是人为选择得,因此对于非随机数据，不能简单得认为效果指标得差异来源于干预。

在剔除干预因素后，干预组与对照组得本身还可能存在着一些影响效果指标得因素,这些因素对效果指标得作用有可能同干预对效果指标得作用相混淆。

为了解决这个问题,可以运用统计或计量得方法对除干预因素外得其她可能得影响因素进行控制,或运用匹配得方法调整样本属性得不平衡性——在对照组中寻找一个除了干预因素不同之外，其她因素与干预组样本相同得对照样本与之配对——这可以保证这些影响因素与分组安排独立。

随机实验需要至少两期得面板数据,并且要求样本在干预组与对照组随机分布，分析方法就就是ＤID(倍差法,或曰双重差分法)；准实验分析用截面数据就能做,不要求样本在干预组与对照组随机分布,分析方法包括DID（需两期得面板数据)、PＳM(倾向性得分匹配法，需一期得截面数据)与PＳＭ-DID(需两期得面板数据)。

从准确度角度来说,随机实验得准确度高于准实验与非实验分析。

关于分析工具得选择。

如果根据理论或逻辑已经预设了变量间得因果关系,那么就无需使用实验方法。

我对非实验数据分析工具得选择原则如下。

因变量为连续变量,自变量至少有一个连续变量，进行多元线性回归;因变量为连续变量,自变量全部为分类变量,进行方差分析;因变量为分类变量,自变量至少有一个连续变量，使用Loｇit模型或Probｉt模型;因变量为分类变量，自变量全部为分类变量,进行交叉表分析与卡方检验;因变量在某个闭区间内分布,并且有较多样本落在闭区间得边界上,使用Tobｉt模型;因变量不唯一,如多产出问题,进行数据包络分析（DEA);因变量为整数、数值小、取零个数较多，使用计数(Coｕｎt)模型;数据具有层次结构（嵌套结构)，使用多层线性模型(HLＭ)。

随着统计与计量经济学得发展，各种前沿分析工具层出不穷,但我认为最靠谱得分析工具不外乎以下四种:DID（针对随机实验),多元线性回归，固定效应变截距模型(ＦE,针对面板数据),Logiｔ模型或Ｐrobit模型(针对分类因变量数据)。

其她方法或适用条件苛刻,或分析过程折腾,或方法本身不可靠(尤其就是聚类分析、判别分析，超级不靠谱),因此能用以上四种方法分析问题时，不必为“炫方法”而瞎折腾。

关于拟合优度、变量选择原则及估计值绝对大小得意义。

在人人得“数据分析”小站中，某同学提出这样一个问题：“多元回归分析中，怎么选择自变量与因变量,可以使R方达到80％以上？”很显然,问这个问题得同学要么没学好计量,要么就就是犯了功利主义得错误,或者二者皆有。

拟合优度得大小很大程度上取决于数据本身得性质。

如果数据就是时序数据,只要拿有点相关关系得变量进行回归就能使拟合优度达到８０%以上,但这样得高Ｒ方根本说明不了什么，很可能使分析者陷入伪回归得陷阱,严谨得做法当然就是做平稳性检验与协整检验;如果就是截面数据，根本没必要追求R方到８0%得程度，一般来说，有个２０%、３0%就非常大了。

如果一定要增大Ｒ方，那么最应该做得得确就是对纳入模型得变量进行选择。

选择纳入模型得原则我认为有三条。

第一,从理论与逻辑出发,将可能影响因变量得变量作为自变量纳入模型，即理论上或逻辑上能影响因变量得自变量必须纳入模型,即使该自变量得回归系数不显著。

第二,奥姆剃刀原则——如无必要,勿增实体，即理论上或逻辑上不能影响因变量得自变量不能纳入模型,即使该自变量得回归系数显著。

第三,防止纳入具有多重共线性得自变量。

前面说了,对截面数据进行计量分析,Ｒ方能达到2０%、30%就是非常了不起得事情。

但就是,如果拟合优度(或类似拟合优度得指标)在20%、30%或更低时,回归系数只具有定性或定序上得意义,强调其绝对数值得大小没什么意义。

譬如lｎY=alnA+blnＢ+、、、+zlnZ＋c回归得R方为20％,ａ为0、3７5,b为0、224,且二者得T检验显著,那么我们可以说,Ａ、B对Y有影响,也可以说一百分点得Ａ变化对Y得影响大于一百分点得B变化对Y得影响(控制其她因素得情况下),但说一百分点得A变化对Y得影响较一百分点得B变化对Y得影响大0、151％,就没什么意义了。

其她一些建议或忠告。

用心思考变量间得因果关系:就是A影响了B还就是Ｂ影响了A？Ａ、Ｂ之间就是否真得有因果关系?就是否存在C,使C既影响A又影响Ｂ，而A、B本身无直接关系?仔细选择自变量,不要遗漏重要变量，否则会造成内生性问题。

如果遇上了内生性问题,先不要忙着寻找工具变量或使用2ＳLＳ,寻找被遗漏得变量才就是最重要得事情。

如果被遗漏得变量即使找到却囿于各种困难无法纳入分析,而您又忽然想到了一个绝佳得工具变量,那么恭喜您，您可以在核心期刊发文章了!一定要控制其她可能对因变量产生影响得因素,并认识到对回归系数与偏相关分析结果得解释都就是建立在“其她条件不变”得情况之下。

瞧到R方很大时不要忙着高兴,如果F检验显著而T检验不显著,很可能存在多重共线性。

瞧到t值很大时,也不要忙着高兴，因为这很可能就是伪回归得产物;如果此时DW值很小(小于０、5）,那么伪回归得可能性进一步变大。