常用信息分析方法

数据分析常用的9种分析方法

一、描述性统计

描述性统计是一类统计方法的汇总，揭示了数据分布特性。它主要包括数据的频数分析、数据的集中趋势分析、数据离散程度分析、数据的分布以及一些基本的统计图形。

1、缺失值填充：常用方法有剔除法、均值法、决策树法。

2、正态性检验：很多统计方法都要求数值服从或近似服从正态分布，所以在做数据分析之前需要进行正态性检验。常用方法：非参数检验的K-量检验、P-P图、Q-Q图、W检验、动差法。

二、回归分析

回归分析是应用极其广泛的数据分析方法之一。它基于观测数据建立变量间适当的依赖关系，以分析数据内在规律。

1. 一元线性分析

只有一个自变量X与因变量Y有关，X与Y都必须是连续型变量，因变量Y或其残差必须服从正态分布。

2. 多元线性回归分析

使用条件：分析多个自变量X与因变量Y的关系，X与Y都必须是连续型变量，因变量Y或其残差必须服从正态分布。

3.Logistic回归分析

线性回归模型要求因变量是连续的正态分布变量，且自变量和因变量呈线性关系，而Logistic回归模型对因变量的分布没有要求，一般用于因变量是离散时的情况。

4. 其他回归方法：非线性回归、有序回归、Probit回归、加权回归等。

三、方差分析

使用条件：各样本须是相互独立的随机样本；各样本来自正态分布总体；各总体方差相等。

1. 单因素方差分析：一项试验只有一个影响因素，或者存在多个影响因素时，只分析一个因素与响应变量的关系。 2. 多因素有交互方差分析：一项实验有多个影响因素，分析多个影响因素与响应变量的关系，同时考虑多个影响因素之间的关系

3. 多因素无交互方差分析：分析多个影响因素与响应变量的关系，但是影响因素之间没有影响关系或忽略影响关系

4. 协方差分析：传统的方差分析存在明显的弊端，无法控制分析中存在的某些随机因素，降低了分析结果的准确度。协方差分析主要是在排除了协变量的影响后再对修正后的主效应进行方差分析，是将线性回归与方差分析结合起来的一种分析方法。

信息分析主要方法

信息分析主要方法包括以下几种：

1. 统计分析：通过统计收集到的数据进行分析，包括描述统计和推断统计等方法。描述统计包括频率分布、平均值、中位数、标准差等；推断统计包括假设检验、方差分析、回归分析等。

2. 主成分分析：通过将多个相关变量转化为少数几个不相关的主成分，来简化数据集并发现隐藏在数据背后的结构和关系。主成分分析可以用于降维、数据压缩和特征提取等。

3. 聚类分析：将相似的对象划分到同一个簇中，不相似的对象划分到不同簇中，从而发现数据集中的内在结构和模式。常见的聚类分析方法包括K均值聚类、层次聚类和密度聚类等。

4. 因子分析：通过观察多个变量之间的共同方差，将这些变量提取出几个潜在的因子，从而揭示出背后的潜在结构和关系。因子分析可以用于数据降维、变量筛选和构建指标等。

5. 决策树分析：通过对数据集进行划分和分类，构建一棵决策树模型，并利用该模型对新的样本进行预测和分类。决策树分析可以用于特征选择、模式识别和数据挖掘等。

6. 文本分析：对文本数据进行分析，包括文本分类、情感分析、文本聚类、关键词提取等。文本分析可以用于媒体监测、舆情分析和用户评论分析等。

7. 时间序列分析：对时间序列数据进行模型建立和预测，揭示出数据的趋势、周期性和季节性等特征。时间序列分析可以用于经济预测、股票价格预测和气象预测等。

8. 强化学习：基于环境和行动的交互，通过不断试错和学习来获得最优策略。强化学习可以用于智能系统、自动驾驶和游戏策略等。

这些方法可以根据具体的问题和数据类型进行选择和应用，以提取和发现数据中的有用信息。

9种最常用数据分析方法，解决90%分析难题

一、关联分析

关联分析，也叫作“购物篮分析”，是一种通过研究用户消费数据，将不同商品之间进行关联，并挖掘二者之间联系的分析方法。

关联分析目的是找到事务间的关联性，用以指导决策行为。如“67%的顾客在购买啤酒的同时也会购买尿布”，因此通过合理的啤酒和尿布的货架摆放或捆绑销售可提高超市的服务质量和效益。关联分析在电商分析和零售分析中应用相当广泛。

关联分析需要考虑的常见指标：

• 支持度：指A商品和B商品同时被购买的概率，或者说某个商品组合的购买次数占总商品购买次数的比例。

• 置信度：指购买A之后又购买B的条件概率，简单说就是因为购买了A所以购买了B的概率。

• 提升度：先购买A对购买B的提升作用，用来判断商品组合方式是否具有实际价值。

二、对比分析

对比法就是用两组或两组以上的数据进行比较。对比法是一种挖掘数据规律的思维，能够和任何技巧结合，一次合格的分析一定要用到N次对比。

对比主要分为以下几种：

• 横向对比：同一层级不同对象比较，如江苏不同市茅台销售情况。

• 纵向对比：同一对象不同层级比较，如江苏南京2021年各月份茅台销售情况。

• 目标对比：常见于目标管理，如完成率等。

• 时间对比：如同比、环比、月销售情况等，很多地方都会用到时间对比。

三、聚类分析

聚类分析属于探索性的数据分析方法。从定义上讲，聚类就是针对大量数据或者样品，根据数据本身的特性研究分类方法，并遵循这个分类方法对数据进行合理的分类，最终将相似数据分为一组，也就是“同类相同、异类相异”。

在用户研究中，很多问题可以借助聚类分析来解决，比如，网站的信息分类问题、网页的点击行为关联性问题以及用户分类问题等等。其中，用户分类是最常见的情况。

常见的聚类方法有不少，比如K均值（K-Means），谱聚类（Spectral Clustering），层次聚类（Hierarchical Clustering）。

平衡分析法

所谓平衡就是各个互相联系的因素之间，在数量上保持一定的合理的对应关系。平衡分析法是分析事物之间相互关系的一种方法。它分析事物之间发展是否平衡，揭示出事物间出现的不平衡状态、性质和原因，指引人们去研究积极平衡的方法，促进事物的发展。统计平衡分析的主要方法有编制平衡表和建立平衡关系式。

平衡表与一般统计表的区别在于：指标体系必须包括收入与支出，来源与使用两个对应平衡的指标。平衡表的主要形式有三种，即收付式平衡表、并列式平衡表和棋盘式平衡表，前两种形式如资产负债表、能源平衡表，后一种形式如投入产出表。

平衡关系式是用等式表示各相关指标间平衡关系的式子。如，期初库存+本期入库＝本期出库+期末库存，资产＝负债+所有者权益，增加值＝总产出－中间投入。

统计中的平衡分析基本要求和特点是：平衡分析要通过有联系指标数值的对等关系来表现经济现象之间的联系；要通过有联系指标数值的比例关系来表现经济现象之间的联系；要通过任务的完成与时间进度之间的正比关系来表现经济现象的发展速度；要通过各有关指标的联系表现出全局平衡与局部平衡之间的联系。

其他数据分析方法

回归分析

研究变量之间存在但又不确定的相互关系以及密切程度的分析叫做相关分析，如果把其中的一些因素作为自变量，而另外一些随自变量变化而变化的变量作为因变量，研究他们之间的非确定因果关系，就是回归分析。

生存分析

生存分析广泛应用于生物医学，工业，社会科学，商业等领域，例如肿瘤患者经过治疗后生存的时间、电子设备的寿命、罪犯假释的时间、婚姻持续的时间、保险人的索赔等。生存分析就是处理搜集来的数据，生存数据包括生存时间以及其相关因素。

方差分析

方差分析是检验两个或多个样本均数间差异是否具有统计意义的一种方法，例如：医学界研究几种药物对某种疾病的疗效；农业研究土壤，肥料，日照时间等因素对某种农作物产量的影响；不同饲料对牲畜体重增长的效果等，都可以使用方差分析方法来解决。其基本原理是认为：不同处理组的均数间的差别基本来源于随机误差和实验条件。