第3章 数据预处理

第三章SPSS数据的预处理为什么查进行预处理在数据文件建立之后，通常还需要对分析的数据进行必要的预加工处理，这是数据分析过程中必不可少的一个关键步骤。

数据的预加工处理服务于数据分析和建模，主要包括以下几个问题：数据的排序变量计算数据选取计数分类汇总数据分组数据预处理的其他功能：转置、加权、数据拆分、缺失值处理、数据排秩、定义变量集。

3.1 数据的排序3.1.1数据排序的作用3.1.2 数据排序的基本操作将观测量按照统计分析的具体要求进行合理的分类整理是数据文件整理的重要工作。

仍以文件“研究生．sav”来说明，观测量分类整理的基本操作步骤如下：(1)执行Data→Sort Cases (观测量分类) 命令，打开Sort Cases对话框。

(2)从源变量列表框中选择一个或几个分类变量，单击中间的箭头按钮将它们移入Sort by框中，不妨称移入该框的变量为By变量。

选择By变量的意义是将按这个变量对观测量进行分类整理。

如果选择了几个By变量，从上至下依次称为第一By变量、第二By变量等。

分类整理将按每一个By变量层叠分类整理。

例如，选择了两个分类变量，sex为第一By变量，score为第二By变量，在sex的每一个分类中观测值将按score分类。

(3)在Sort Order栏中选择一种排序方式。

如对某分类变量选择Ascending (升序)，则在Sort by框里该变量名之后用连线连接Ascending；如选择Descending (降序)，该变量名连接Descending。

各分类变量的排序方式可以不同。

(4)以上选择确定后，单击OK，返回数据窗口，分类排序结果显示于数据窗口内。

此外，对字符串变量按分类次序大写字母将优先于小写的同一字母。

在我们引用的数本来有一个Order (序号) 变量，它的值为自然数顺序。

按照某些By变量分类后，要将文件恢复成原来的顺序，可以再用Order作为By变量执行观测量分类即可。

统计学统计数据预处理
统计学是一门研究如何收集、整理、分析和解释数据的学科。

而在进行统计数据预处理时，我们需要对原始数据进行清洗和转换，以确保数据的准确性和可用性。

数据清洗是预处理的必要步骤之一。

在这个过程中，我们需要检查数据是否存在缺失值、异常值或重复值。

对于缺失值，我们可以选择删除或填充，具体取决于数据的重要性和缺失值的数量。

对于异常值，我们可以根据数据的分布特征和常识判断是否需要删除或进行修正。

重复值可以简单地删除，以避免对结果产生重复影响。

数据转换是为了改变数据的形式或表示，以便更好地满足分析的需求。

常见的数据转换包括标准化、归一化、离散化等。

标准化可以将数据转换为均值为0、标准差为1的标准正态分布，以便比较不同变量之间的差异。

归一化可以将数据转换为0到1之间的范围，使得不同变量具有可比性。

离散化可以将连续变量转换为离散变量，以便进行分类或分组分析。

数据预处理还包括特征选择和特征构造。

特征选择是从原始数据中选择最相关或最具代表性的特征，以减少数据维度和提高模型的效果。

特征构造是根据已有特征创建新的特征，以提取更多的信息或改进模型的性能。

这些步骤可以根据具体问题和数据的特点进行选择和调整。

总结起来，统计数据预处理是为了清洗、转换和优化原始数据，以便更好地支持后续的统计分析和建模工作。

通过合理的预处理，我们可以提高数据的质量和可信度，从而得到更准确、可靠的分析结果。

数据预处理1、归一化归一化是为了把数变为（0，1）之间的小数，主要是为了数据处理方便提出来的，把数据映射到0-1之间，更加快捷快速。

其次，把有量纲表达式变为无量纲表达式，归一化是一种简化计算的方式，即将有量纲的表达式经过表换，化为无量纲的表达式，成为纯量。

归一化算法有：2、标准化数据的标准化是将数据按比例缩放，使之落入一个小的特定区间。

由于信用指标体系的各个指标度量单位是不同的，为了能够将指标参与评价计算，需要对指标进行规范化处理，通过函数变换将其数值映射到某个数值区间。

标准化算法有：z-score标准化的平均值的标准差优点：当X的最大值和最小值未知，或者孤立点左右了最大-最小规范化，该方法效率很高最小-最大规范化（线性变换）对数Logistic模式新数据=1/（1+e^(-原数据)）z-score标准化1：import numpy as npfrom sklearn import preprocessingdata = np.array([[3, -1.5, 2, -5.4],[0,4,-0.3,2.1],[1,3.3,-1.9,-4.3]])# 对数据集进行规范化 z-score# print(f"{np.mean(data,axis=0)}")# print(f"{np.std(data,axis=0)}")data_standardized = preprocessing.scale(data)print(f"mean={data_standardized.mean(axis=0)}")print(f"std={np.std(data_standardized,axis=0)}")print(data_standardized)mean=[ 5.55111512e-17-1.11022302e-16-7.40148683e-17-7.40148683e-17]std=[1.1.1.1.][[ 1.33630621-1.40451644 1.29110641-0.86687558][-1.069044970.84543708-0.14577008 1.40111286][-0.267261240.55907936-1.14533633-0.53423728]]z-score标准化2：import numpy as npfrom sklearn.preprocessing import StandardScalerX = np.array([[ 1., -1., 2.],[ 2., 0., 0.],[ 0., 1., -1.]])scaler = StandardScaler().fit(X)print scaler.mean_print scaler.std_print scaler.transform(X)[ 1.0.0.33333333][ 0.816496580.81649658 1.24721913][[ 0.-1.22474487 1.33630621][ 1.224744870.-0.26726124][-1.22474487 1.22474487-1.06904497]]最大最小标准化：import numpy as npfrom sklearn import preprocessingdata=np.array([[3, -1.5, 2, -5.4],[0, 4,-0.3,2.1],[1, 3.3, -1.9, -4.3]]) # 原始数据矩阵 shape=(3,4)data_scaler=preprocessing.MinMaxScaler(feature_range=(0,1)) # 缩放到（0,1）之间data_scaled=data_scaler.fit_transform(data)print('scaled matrix: *********************************')print(data_scaled)scaled matrix: *********************************[[1.0. 1.0. ][0. 1.0.410256411. ][0.333333330.872727270.0.14666667]]公式原理：3、正则化正则化的过程是将每个样本缩放到单位范数（每个样本的范数为1），如果后面要使用如二次型（点积）或者其它核方法计算两个样本之间的相似性这个方法会很有用。

第1章制造业与先进制造技术1.1简述制造、制造系统与制造业概念。

制造：利用合适的工具，采用有效的工艺方法，将原材料转变产品并投放市场的过程。

狭义制造：将原材料转变为成品的加工和装配的生产过程。

广义制造：包含产品设计、加工装配、生产管理、市场营销等整个产品生命周期的全过程。

制造系统：为实现制造目的所构建的物理型系统，包括制造过程、硬件、软件和相关人员等组成部分。

制造业：是将制造资源转化为可供人们使用和消费产品的行业，是所有与制造有关的生产和服务型企业群体的总称。

1.2制造业在国民经济中的地位和作用如何？制造业地位：制造业是一个国家经济发展的支柱，是国民经济收入的重要来源，不仅为现代工业社会提供物质基础，也为信息与知识社会提供先进装备和技术平台。

制造业作用：1)提高人们物质消费水平；2)实现经济稳定增长的物质保证；3)担当国际商品贸易的重要角色；4)是加强农业基础、支持服务业更快发展的物质保障和重要条件；5)是加快信息产业发展的物质基础；6)是劳动力就业的重要平台；7)是加快发展科学技术和教育事业的重要物质支撑；8)是实现军事现代化和保障国家基本安全的基本保证。

1.3简述制造技术发展历程。

在生产方式方面：经历了从单件/小批量生产--大批量生产--多品种小批量定制生产过程；在制造技术方面：经历了机械化--单机自动化--刚性自动化--柔性自动化--综合自动化过程；在资源配置方面: 经历了劳动密集型--设备密集型--技术密集型过程。

1.4试分析我国机械制造业的发展和面临的挑战。

我国机械制造业的发展：目前我国机械制造业产值超过了德国、日本和美国，跃居为世界第一，成为全球第一的机械制造大国。

我国机械制造业面临如下方面的挑战：1）西方发达工业国家回归实体经济；2）国外跨国集团公司技术优势；3）国内生产要素成本提高。

4）当前我国制造业面临工业发达国高技术和发展中国家低成本优势的双向挤压。

1.5先进制造技术在怎样背景下推出的，其内涵与特点如何？先进制造技术提出背景：1）社会经济背景：主题化、个性化和多样化社会消费需求；全球市场形成，加剧商品市场竞争。

数据预处理总结
一、数据清洗
数据清洗是数据预处理的重要步骤，其主要目的是去除数据中的噪声、无关信息以及错误数据，以确保数据的质量和准确性。

数据清洗的过程包括：数据去重、数据格式转换、缺失值处理、异常值检测等。

二、特征选择
特征选择是从原始特征中选取出与目标变量最相关的特征，以降低数据的维度和提高模型的性能。

特征选择的方法包括：过滤法、包装法、嵌入式法等。

三、缺失值处理
缺失值处理是数据预处理的常见问题，对于缺失的数据，可以采用填充缺失值的方法，如使用均值、中位数、众数等填充，或者使用插值、回归等方法预测填充。

四、异常值检测
异常值是指与大多数数据明显不同的数据点，它们可能会对模型的性能产生负面影响。

异常值检测的方法包括：基于统计的方法、基于距离的方法、基于密度的方等。

五、特征缩放
特征缩放是指将特征的取值范围调整到一个共同的范围内，如[0,1]或[-1,1]。

特征缩放的方法包括：最小-最大缩放、Z-score标准化、对数变换等。

六、数据规范化
数据规范化的目的是将数据的取值范围限制在一个小的区间内，以提高模型的收敛速度和稳定性。

数据规范化的方法包括：Min-Max规范化、小数定标规范化等。

七、编码转换
编码转换是指将分类变量转换为机器学习算法可以处理的格式。

常见的编码转换方法包括：独热编码、标签编码等。