第3章数据的预处理

第三章SPSS数据的预处理为什么查进行预处理在数据文件建立之后，通常还需要对分析的数据进行必要的预加工处理，这是数据分析过程中必不可少的一个关键步骤。

数据的预加工处理服务于数据分析和建模，主要包括以下几个问题：数据的排序变量计算数据选取计数分类汇总数据分组数据预处理的其他功能：转置、加权、数据拆分、缺失值处理、数据排秩、定义变量集。

3.1 数据的排序3.1.1数据排序的作用3.1.2 数据排序的基本操作将观测量按照统计分析的具体要求进行合理的分类整理是数据文件整理的重要工作。

仍以文件“研究生．sav”来说明，观测量分类整理的基本操作步骤如下：(1)执行Data→Sort Cases (观测量分类) 命令，打开Sort Cases对话框。

(2)从源变量列表框中选择一个或几个分类变量，单击中间的箭头按钮将它们移入Sort by框中，不妨称移入该框的变量为By变量。

选择By变量的意义是将按这个变量对观测量进行分类整理。

如果选择了几个By变量，从上至下依次称为第一By变量、第二By变量等。

分类整理将按每一个By变量层叠分类整理。

例如，选择了两个分类变量，sex为第一By变量，score为第二By变量，在sex的每一个分类中观测值将按score分类。

(3)在Sort Order栏中选择一种排序方式。

如对某分类变量选择Ascending (升序)，则在Sort by框里该变量名之后用连线连接Ascending；如选择Descending (降序)，该变量名连接Descending。

各分类变量的排序方式可以不同。

(4)以上选择确定后，单击OK，返回数据窗口，分类排序结果显示于数据窗口内。

此外，对字符串变量按分类次序大写字母将优先于小写的同一字母。

在我们引用的数本来有一个Order (序号) 变量，它的值为自然数顺序。

按照某些By变量分类后，要将文件恢复成原来的顺序，可以再用Order作为By变量执行观测量分类即可。

第三章第三章spssspss数据的预处理数据的预处理上机上机11上机作业上机作业2利用前面所做居民储蓄调查数据的数据将其按常住地升序收入水平升序存款金额降序进行多重排序
第三章 SPSS数据的预处理 （上机1）
上机作业

1、实践SPSS数据的排序、计算与选取。 2、利用前面所做“居民储蓄调查数据”的数据， 将其按常住地(升序)、收入水平(升序)、存款金额 (降序)进行多重排序 。 3、利用前面所做“居民储蓄调查数据”的数据， 采用SPSS数据筛选功能将数据分成两份文件。其 中，第一份数据文件为存储常住地“沿海或中心 繁华城市”且本次存款金额在1000~5000元之间 的调查数据；第二份数据文件是按照简单随机抽 样所选取的70%的样本数据。 4、利用前面所做“学生成绩”合并数据，计算 每个学生课程的平均分和标准差同时计算男生 和女生各科成绩的平均分。

大数据预处理整体架构
数据 资产
统一的数据视图
数据
传统清洗工具
ቤተ መጻሕፍቲ ባይዱ
分布式并处理模式
清洗 （DataWrangler、InfoSphere QualityStage） （内存计算Spark、批处理MapReduce、流计算Storm）
数据 储存
结构化数据 电子表格和传统的关系型数据库：甲骨文 （Oracle RDBMS)、阿里（RDS)、人大金仓等
Bin的划分方法一般有两种，一种是等高方法，即每个Bin中的元素的个
数相等；另一种是等宽方法，即每个Bin的取值间距（左右边界之差）
相同。
b in 中个 数
b in中个 数
等高bin
属性 值
等宽bin
属性 值
噪声数据处理
例如：
排序后价格：4,8,15,21,21,24,25,28,34
划分为等高度bin： —Bin1：4,8,15 —Bin2：21,21,24 —Bin3：25,28,34
Sqoop和 DataX
数据迁移
非结构化数据 凌潮（云谷）、华为（FusionInsight）、
IBM(BigInsights)、EMC（Pivotal）等
在线（API）
离线
数据
来源
数据采集
数据交换 （贵阳大数据交易所， .）
大数据预处理整体架构
结构化数据可以存储在传统的关系型数据库中 非结构化数据可以存储在新型的分布式存储中 半结构化数据可以存储在新型的分布式NoSQL数据库中
大数据预处理整体架构
结构化数据和非结构化数据之间的数据可以按照数据处理的需求进行迁 移。 比如：为了进行快速并行处理，需要将传统关系型数据库中的结构化数 据导入到分布式存储中，可以利用Sqoop等工具，先将关系型数据库的 表结构导入分布式数据库（Hive），然后再向分布式数据库的表中导入 结构化数据。

单值排序：排序变量只有一个 多重排序：第一个指定的排序变量称为主排序变量，其他 依次指定的变量分别称为第二排序变量、第三排序变量等。 SPSS数据排序的基本操作步骤： （1）选择菜单：数据 -> 排序个案
（2）指定主排序变量，并选择是按升序还是降序排列
（3）如果是多重排序，还要依次指定第二、第三排序变 量及相应的排序规则。否则，本步可略。
第三章
SPSS数据的预处理
在数据文件建立好后，通常还要对待分析的数据进行必要 的预加工处理，这是数据分析过程中不可缺少的一个关键环 节。而且，随着数据分析的不断深入，对数据的加工处理还 会多次反复，实现数据加工和数据分析的螺旋上升。数据的 预加工处理是服务于数据分析和建模的。 1、缺失值和异常数据的处理 2、数据的转换处理 3、数据抽样 4、选取变量
三、SPSS条件表达式 SPSS条件表达式是一个对条件进行判断的式子。其结果有两 种取值：如果判断条件成立，则结果为真；如果判断条件不成 立，则结果为假。 1、简单条件表达式 由关系运算符、常量、变量以及算术表达式等组成的式 子。其中关系运算符包括>、<、＝、～＝（不等于）、>＝ 、<＝。 2、复合条件表达式 又称逻辑表达式，是由逻辑运算符号、圆括号和简单条 件表达式等组成的式子。其中，逻辑运算符号包括&或AND （并且）、|或OR（或者）、～或NOT（非）。NOT的运算 优先级最高，其次是AND，最低是OR。可以通过圆括号改变 运算的优先级。
★按照哪个变量进行分类 ★对哪个变量进行汇总，并指定对汇总变量计算哪些统 计量。
二、分类汇总的应用举例
利用住房状况调查.sav，分析本市户口家庭和外地户口家庭 目前人均住房面积的平均值是否有较大差距，未来打算购买 住房的平均面积是否有较大差距。 SPSS分类汇总的基本操作步骤如下： （1）选择菜单：数据-> 分类汇总 （2）指定变量到分组变量框，汇总变量到汇总变量框。 （3）按函数按钮指定对汇总变量计算哪些统计量。SPSS默 认计算均值。 （4）指定将分类汇总结果保存到何处。 （5）按变量名与标签按钮重新指定结果文件中的变量名或 加变量名标签。默认变量名为原变量名后加_mean （6）如果希望在结果文件中保存各分类组的个案数，则 选择个案数选项，生成一个默认名为N_BREAK的变量。