当前位置：文档之家 › Python基本数据统计分析

Python基本数据统计分析

  • 格式：pdf
  • 大小：4.58 MB
  • 文档页数：89

基本数据统计分析Python 数据处理、分析、可视化与数据化运营06本章学习目标了解描述性统计分析各个指标的含义掌握交叉对比和趋势分析的基本方法与技巧掌握结构与贡献分析的应用场景以及实现方法重点分组与聚合分析的常用方法掌握相关性分析的主要方法以及如何解读相关性分析结果了解漏斗、路径和归因分析基本概念准备数据使用Excel的DMEO数据本节所用数据为公用数据，读取excel的demo数据。

用法示例：import pandas as pd # ①import numpy as np # ②raw_data = pd.read_excel('demo.xlsx') # ③print(raw_data.head(3)) # ④准备数据先将province转换为字符串在字段中的PROVINCE 列本身是分类含义，因此将其转换为字符串类型。

用法示例：raw_data['PROVINCE'] = raw_data['PROVINCE'].astype(str)准备数据使用describe查看描述性统计分析信息用法示例：desc_data = raw_data.describe(include='all').T # ①获得所有字段的描述信息desc_data['polar_distance'] = desc_data['max']- desc_data['min'] # ②得到极差（或极距）desc_data['IQR'] = (desc_data['75%']-desc_data['25%'])/2 # ③计算四分位差desc_data['days_int'] = desc_data['last']-desc_data['first'] # ④基于last和first差值计算日期间隔desc_data['dtype'] = raw_data.dtypes # ⑤获取所有列的字段类型desc_data['all_count'] = raw_data.shape[0] # ⑥获取所有列的总记录数量print(desc_data.columns) # ⑦准备数据使用describe查看描述性统计分析信息通用描述信息通用描述信息是指对所有数据字段的概要描述示例代码：print(desc_data[['all_count','count','dtype']])集中性趋势数值型字段的均值、中位数和四分位数数值型字段的集中性趋势的常用描述指标包括均值、中位数和四分位数（注意：四分位数指的不是一个数）print(desc_data.loc[['AMOUNT','VISITS'],['25%', '50%', '75%','mean']])集中性趋势非数值型字段的唯一值、众数和频数非数值型包括布尔型、字符串型和日期型三类，数据分析师经常使用唯一值、众数和频数描述集中性趋势。

print(desc_data.loc[['DATETIME','PROVINCE','CATE','IS_PRO'],['unique','top','freq']])离散性趋势数值型字段的标准差、最小值、最大值、极差、四分位差数值型字段的离散趋势经常用标准差、最小值、最大值、极差、四分位差表示print(desc_data.loc[['AMOUNT','VISITS'],['std','min','max','polar_distance','IQR']])6.1 描述性统计分析11离散性趋势日期型字段的开始日期、结束日期和日期间隔对非数值型字段而言，很少描述其离散性趋势，但日期类字段却拥有自身的特殊性。

它拥有自己的开始日期项，并可以基于日期项做一定程度的数值计算print(desc_data.loc[['DATETIME'],['first','last','days_int']])概念对比和趋势是分析事物对象，并得到结论的基本且重要的方法有比较才能产生差异，也才有好坏优劣之分基于比较的思维构成了数据分析的基础逻辑对比和趋势分别从横向和纵向两个维度对特定事物做分析交叉对比分析应用示例❑所有广告营销渠道中哪些效果最好❑全部商品销售中哪些品类卖的多❑哪些类型的会员活跃度更高交叉对比分析使用多个指标定量描述事物❑在极少数情况下，可以通过单一指标对事物做定量分析和结论判定，例如品类A比品类B在总利润贡献上更好，因此我们可以说品类A比品类B表现更好或更有价值。

❑更多情况下，我们在评估事物好坏时，会使用多个指标从多个角度去定量描述。

交叉对比分析使用多个指标定量描述事物示例：如何评估渠道质量，评估指标的选择：q基本行为指标：平均停留时间、访问深度q目标转化指标：目标转化率、订单转化率q复购：复购率q会员指标：新会员引入量、老会员激活量交叉对比分析使用多个指标定量描述事物示例：我们要分析不同的大区，在是否促销上是否有差异性，同时评估指标包括访问量和订单数量raw_data.pivot_table(values=['AMOUNT','VISITS'],index=['CATE'],columns='IS_PRO',aggfunc=np.mean)其中：（1）values：分类汇总的计算指标列。

（2） index：分类汇总的汇总维度列，要汇总多级维度可以传入列表。

（3） columns：基于特定的列名，对指标做汇总计算。

（4） aggfunc：分类汇总计算方法，可传入任意有效计算函数或对象。

交叉对比分析交叉趋势分析使用多个指标定量描述事物示例：的数据表现较好。

这时使用趋势分析法，分析不同时间周期下的表现raw_data['MONTH'] = raw_data['DATETIME'].map(lambda i: i.month) # ①从每个日期中获得month属性得到月份结果overseas_north = raw_data[raw_data['CATE']=='海外区'] # ②过滤出仅包含海外区的数据print(overseas_north.pivot_table(values=['AMOUNT','VISITS'],index=['MONTH'],columns='IS_PRO',aggfu nc=np.mean)) # ③建立数据透视表交叉趋势分析q海外区的VISITS数据表现相对稳定且良好，仅在2/3/4月份较差。

q海外区的AMOUNT数据表现极不稳定，仅在4/5/9月份表现好，其他时间都低于海外区的整体均值，而最高的几个月份拉高了整个均值。

q在IS_PRO的作用上，VISITS和AMOUNT都显示出来比较强的随机性，规律不具有完整且一致性，表现为不同月份的贡献表现不一，且变化幅度差异较大。

6.3 结构与贡献分析20概念结构与贡献分析是对一组数据中不同元素的构成、比例、贡献等方面的分析它可以快速获得整体中最主要构成要素信息应用示例公司最主要的销售商品集中在什么品类上，次要品类是哪些全站的会员主要从哪些渠道来占比分析占比分析通过计算不同的元素的比例来评估其贡献度，它是很多深入分析方法的基础用法示例com_data = raw_data.groupby(['PROVINCE'],as_index=False).sum() # ①com_sort = com_data.sort_values(['VISITS'],ascending=False) # ②amount_sum = com_sort['AMOUNT'].sum() # ③visits_sum = com_sort['VISITS'].sum() # ④com_sort['AMOUNT_PER'] = com_sort['AMOUNT']/amount_sum # ⑤com_sort['VISITS_PER'] = com_sort['VISITS']/visits_sum # ⑥print(com_sort.drop(['IS_PRO','MONTH'],axis=1).head()) # ⑦占比分析二八法则分析什么是二八法则在经济学、管理学领域有个经典的“二八法则”，也称为80/20定律、帕累托法则，它的基本含义是在任何一组事物中，最重要的只占其中一小部分（比例大概20%），其余80%尽管是多数，却是次要的，因此又称二八定律二八法则分析什么是二八法则这个规律在企业经营中也经常出现，例如企业80%的利润都是20%的头部客户贡献，20%的高价值会员贡献了80%的订单等。

因此，我们需要重点关注TOP 20%的对象以抓住经营重点。

二八法则分析用法示例amount_data = com_sort.sort_values(['AMOUNT_PER'],ascending=False) # ①amount_data['CUM_AMOUNT_PER'] = amount_data['AMOUNT_PER'].cumsum() # ②对amount_data的AMOUNT_PER列使用cumsum()函数做累计汇总，这样每个后续的AMOUNT_PER记录的值都是之前AMOUNT_PER的汇总print(amount_data[['PROVINCE','AMOUNT_PER','CUM_AMOUNT_PER']].round(2).head()) # ③二八法则分析用法示例(初始数据结果)二八法则分析用法示例amount_data['20_80']=pd.cut(amount_data['CUM_AMOUNT_PER'],bins=[0,0.8,1],labels=['top20%','other s80%']) # ①对CUM_AMOUNT_PER做切分，切分的数据边界为0/0.8和1，切分后的数据分别标记为top20%和others80%print(amount_data[['PROVINCE','AMOUNT_PER','CUM_AMOUNT_PER','20_80']].round(2).head(10)) # ②二八法则分析用法示例(二八法则结果)二八法则分析用法示例(二八法则结果)ABC分析法什么是ABC分析法ABC分析法是指按照不同的贡献度，将数据依次分为A、B、C三组，从而确定主要影响因素、次要影响因素和一般影响因素。

合集下载

用Python实现数据分析和可视化

用Python实现数据分析和可视化

用Python实现数据分析和可视化数据分析和可视化已经成为当今社会中不可或缺的技能。

Python作为一种功能强大且易于学习的编程语言，被广泛应用于数据科学领域。

本文将介绍如何使用Python进行数据分析和可视化，并提供一些实际案例进行说明。

1. 数据分析的基本步骤a. 数据收集：从各种数据源中获取原始数据，可以是数据库、API、Web爬虫等。

b. 数据清洗：对原始数据进行清洗和处理，例如删除重复项、处理缺失值、转换数据类型等。

c. 数据探索：通过统计分析、描述性统计、数据可视化等方法，对数据进行探索和发现潜在规律或趋势。

d. 数据建模：根据数据的特点和目标，选择合适的模型进行建立和训练。

e. 数据评估：评估模型的性能和预测结果的准确性。

f. 数据应用：将分析结果应用于实际应用场景，并进行决策支持。

2. Python数据分析库介绍a. NumPy：提供了高性能的数值计算和数组操作功能。

b. Pandas：用于数据清洗、整理、探索和分析的强大工具。

c. Matplotlib：用于绘制数据可视化图表，包括线图、散点图、柱状图等。

d. Seaborn：基于Matplotlib的高级数据可视化库，提供了更多样式和主题选项。

e. Scikit-learn：用于机器学习领域的库，包含了各种常用的机器学习算法和工具。

f. Jupyter Notebook：一种交互式编程环境，方便进行数据分析和结果展示。

3. 数据分析示例：电子商务销售数据分析a. 数据收集：从电子商务平台的数据库中获取销售数据，包括产品信息、销售额、客户信息等。

b. 数据清洗：处理缺失值、删除重复项、转换日期格式等。

c. 数据探索：统计每个产品的销售额和销售量，分析销售额的变化趋势，并根据客户信息进行分析。

d. 数据建模：根据历史销售数据，建立销售预测模型，以实现准确预测和库存管理。

e. 数据评估：评估模型的准确性和稳定性，根据评估结果进行模型调优。

python基本统计值计算

python基本统计值计算

python基本统计值计算Python是一种流行的编程语言，它具有很多强大的计算功能，可以被用来计算各种统计量。

本文将简要介绍一些Python中计算统计量的方法。

1.平均数平均数是一组数据的算术平均值，可以用mean(函数计算。

例如，以下代码可以计算一个列表的平均数：```pythonmy_list = [1, 2, 3, 4, 5]average = sum(my_list) / len(my_list)print("Average:", average)```使用mean(函数可以更简单的计算：```pythonimport numpy as npmy_list = [1, 2, 3, 4, 5]average = np.mean(my_list)print("Average:", average)```2.中位数中位数是一组数中的中间值，可以用median(函数计算。

例如，以下代码可以计算一个列表的中位数：```pythonimport statisticsmy_list = [1, 2, 3, 4, 5]median = statistics.median(my_list)print("Median:", median)```3.众数众数是一组数据中出现次数最多的数，可以用mode(函数计算。

例如，以下代码可以计算一个列表的众数：```pythonimport statisticsmy_list = [1, 2, 3, 3, 4, 5, 5]mode = statistics.mode(my_list)print("Mode:", mode)```4.标准差标准差是一组数据的离散程度的度量，它衡量一组数据值的均值与每个数据值的差距的平方的平均数的平方根。

可以用stdev(函数计算。

例如，以下代码可以计算一个列表的标准差：```pythonimport statisticsmy_list = [1, 2, 3, 4, 5]standard_deviation = statistics.stdev(my_list)print("Standard deviation:", standard_deviation)```5.方差方差是一组数据与其算术平均数之差的平方和的平均数。

python数据分析基础

python数据分析基础

数据分析数据类型一维数据由对等关系的有序或无序数据构成，采用线性方式组织。

（列表、数组和集合）列表：数据类型可以不同（3.1413, 'pi', 3.1404, [3.1401,3.1349], '3.1376'）数组：数据类型相同（3.1413, 3.1398, 3.1404, 3.1401, 3.1349, 3.1376）二维数据由多个一维数据构成，是一维数据的组合形式。

（表格）多维数据由一维或二维数据在新维度上扩展形成。

高维数据仅利用最基本的二元关系展示数据间的复杂结构。

（键值对）NumpyNumpy是一个开源的Python科学计算基础库，包含：1)一个强大的N维数组对象ndarray；2)广播功能函数；3)整合C/C++/Fortran代码的工具；4)线性代数、傅里叶变换、随机数生成等功能。

Numpy是SciPy、Pandas等数据处理或科学计算库的基础。

Numpy的引用：import numpy as np（别名可以省略或更改，建议使用上述约定的别名）N维数组对象：ndarray1)数组对象可以去掉元素间运算所需的循环，使一维向量更像单个数据；2)设置专门的数组对象，经过优化，可以提升这类应用的运算速度；（一个维度所有数据的类型往往相同）3)数组对象采用相同的数据类型，有助于节省运算和存储空间；4)ndarray是一个多维数组对象，由两部分构成：实际的数据；描述这些数据的元数据（数据维度、数据类型等）。

ndarray数组一般要求所有元素类型相同（同质），数组下标从0开始。

np.array()生成一个ndarray数组。

（ndarray在程序中的别名是:array）轴(axis): 保存数据的维度；秩(rank)：轴的数量ndarray对象的属性.ndim 秩，即轴的数量或维度的数量.shape ndarray对象的尺度，对于矩阵，n行m列.size ndarray对象元素的个数，相当于.shape中n*m的值.dtype ndarray对象的元素类型.itemsize ndarray对象中每个元素的大小，以字节为单位ndarray的元素类型bool 布尔类型，True或Falseintc 与C语言中的int类型一致，一般是int32或int64intp 用于索引的整数，与C语言中ssize_t一致，int32或int64 int8 字节长度的整数，取值：[‐128, 127]int16 16位长度的整数，取值：[‐32768, 32767]int32 32位长度的整数，取值：[‐231, 231‐1]int64 64位长度的整数，取值：[‐263, 263‐1]uint8 8位无符号整数，取值：[0, 255]uint16 16位无符号整数，取值：[0, 65535]uint32 32位无符号整数，取值：[0, 232‐1]uint64 32位无符号整数，取值：[0, 264‐1]float16 16位半精度浮点数：1位符号位，5位指数，10位尾数float32 32位半精度浮点数：1位符号位，8位指数，23位尾数float64 64位半精度浮点数：1位符号位，11位指数，52位尾数complex64 复数类型，实部和虚部都是32位浮点数complex128 复数类型，实部和虚部都是64位浮点数实部(.real) + j虚部(.imag)ndarray数组可以由非同质对象构成（array([ [0,1,2,3,4], [9,8,7,6] ])），非同质ndarray对象无法有效发挥NumPy优势，尽量避免使用。

基本统计值计算python

基本统计值计算python

基本统计值计算python文档内容Introduction基本统计值计算python是一种经典的数据分析方法，可以用来快速的计算出基本统计值，比如平均值、中位数、标准差等。

利用python作为编程工具，可以使得计算基本统计值变得更加简单、高效。

Basics在python中，使用numpy库可以实现对基本统计值的计算。

首先要先导入numpy库，如：import numpy as np然后在调用相关函数以计算基本统计值。

在numpy中，有下列函数可供使用：#计算均值 np.mean(data) #计算中位数 np.median(data) #计算标准差 np.std(data) #计算最大值 np.max(data) #计算最小值np.min(data)其中data为需要计算的数据，可以是数组，列表，元组等。

Example下面我们来看一个简单的实例，来说明如何用python计算基本统计值。

假设我们有一个需要分析的数据，如下：data = [1,4,6,3,7,2,8,5,9]首先，我们可以使用numpy库中的函数来计算基本统计值：import numpy as np mean = np.mean(data) median =np.median(data) std = np.std(data) max = np.max(data) min = np.min(data)此时，mean、median、std、max、min就分别存储了data数组的均值、中位数、标准差、最大值、最小值。

Conclusion基本统计值计算python可以用来快速的计算出数据集中的基本统计值，可以大大提高数据分析的效率。

此外，python中的numpy 库提供了丰富的函数来帮助用户实现分析工作。