当前位置：文档之家 › 数据分析基础课程 第3章 数据的处理

数据分析基础课程 第3章 数据的处理

  • 格式：pptx
  • 大小：1022.83 KB
  • 文档页数：39

下载文档原格式

  / 39

合集下载

数据分析入门：掌握数据处理与统计方法

数据分析入门：掌握数据处理与统计方法

数据分析入门：掌握数据处理与统计方法1. 引言1.1 概述数据分析作为一门独立学科，在现代社会中扮演着至关重要的角色。

随着信息时代的到来，我们每天都会产生大量的数据，这些数据蕴含着宝贵的信息。

正确地利用和分析这些数据，可以帮助我们做出更好的决策，并找到问题的根本原因。

因此，掌握数据处理与统计方法成为了一个必备的技能。

本文将介绍数据分析入门所需掌握的基础知识和技术，以及相关工具和软件。

我们将深入讨论不同类型数据及其特点，并介绍如何进行数据预处理，包括缺失值处理、异常值检测和平滑等方法。

另外，我们还将分享一些高效而强大的数据可视化技巧，以便更好地展示和理解数据。

1.2 文章结构本文共分为五个部分进行阐述：引言、数据分析基础知识、统计学基础概念、数据分析工具与软件介绍以及实例分析与实战演练。

在第二部分“数据分析基础知识”中，我们将重点介绍各种常见的数据类型及其特点。

此外，我们还将探讨数据预处理的方法，如数据清洗、数据转换和数据标准化等。

最后，在本部分中，我们还会分享一些常用的数据可视化技巧，如绘制柱状图、散点图和热力图等。

第三部分“统计学基础概念”将介绍统计学的基本概念。

我们将讨论各种描述统计方法及其应用，并简要介绍推断统计方法，如假设检验和置信区间等。

通过深入理解这些统计学概念，可以更好地进行数据分析和解释统计结果。

在第四部分“数据分析工具与软件介绍”中，我们将重点介绍两种常用的数据分析工具：Excel和Python。

我们会概述Excel中的数据分析功能，并详细介绍Python中常用的数据分析库，如NumPy、Pandas和Matplotlib等。

此外，我们还将简要提及R语言在数据分析中的应用及其优势。

最后一部分“实例分析与实战演练”将通过实际案例来加深理解。

我们将选取一些典型案例进行探究与解读，并提供相应的实战演练指南。

同时，我们还会结合不同业务场景演示如何进行数据处理与分析，并展示最终的结果。

1.3 目的本文的目的是帮助读者入门数据分析，并掌握基本的数据处理与统计方法。

第三章 SPSS数据的预处理

第三章 SPSS数据的预处理


单值排序：排序变量只有一个 多重排序：第一个指定的排序变量称为主排序变量，其他 依次指定的变量分别称为第二排序变量、第三排序变量等。 SPSS数据排序的基本操作步骤： （1）选择菜单：数据 -> 排序个案
（2）指定主排序变量，并选择是按升序还是降序排列
（3）如果是多重排序，还要依次指定第二、第三排序变 量及相应的排序规则。否则，本步可略。
第三章
SPSS数据的预处理
在数据文件建立好后，通常还要对待分析的数据进行必要 的预加工处理，这是数据分析过程中不可缺少的一个关键环 节。而且，随着数据分析的不断深入，对数据的加工处理还 会多次反复，实现数据加工和数据分析的螺旋上升。数据的 预加工处理是服务于数据分析和建模的。 1、缺失值和异常数据的处理 2、数据的转换处理 3、数据抽样 4、选取变量
三、SPSS条件表达式 SPSS条件表达式是一个对条件进行判断的式子。其结果有两 种取值：如果判断条件成立，则结果为真；如果判断条件不成 立，则结果为假。 1、简单条件表达式 由关系运算符、常量、变量以及算术表达式等组成的式 子。其中关系运算符包括>、<、＝、～＝（不等于）、>＝ 、<＝。 2、复合条件表达式 又称逻辑表达式，是由逻辑运算符号、圆括号和简单条 件表达式等组成的式子。其中，逻辑运算符号包括&或AND （并且）、|或OR（或者）、～或NOT（非）。NOT的运算 优先级最高，其次是AND，最低是OR。可以通过圆括号改变 运算的优先级。
★按照哪个变量进行分类 ★对哪个变量进行汇总，并指定对汇总变量计算哪些统 计量。
二、分类汇总的应用举例
利用住房状况调查.sav，分析本市户口家庭和外地户口家庭 目前人均住房面积的平均值是否有较大差距，未来打算购买 住房的平均面积是否有较大差距。 SPSS分类汇总的基本操作步骤如下： （1）选择菜单：数据-> 分类汇总 （2）指定变量到分组变量框，汇总变量到汇总变量框。 （3）按函数按钮指定对汇总变量计算哪些统计量。SPSS默 认计算均值。 （4）指定将分类汇总结果保存到何处。 （5）按变量名与标签按钮重新指定结果文件中的变量名或 加变量名标签。默认变量名为原变量名后加_mean （6）如果希望在结果文件中保存各分类组的个案数，则 选择个案数选项，生成一个默认名为N_BREAK的变量。
大数据导论 第3章 数据获取与处理

大数据导论 第3章 数据获取与处理

总结以上填充缺失值的方法可见：方法3)~6)填充的值都有可能不正确。但与其他方法相比，方法6) 是最常用和最可靠的填充缺失值的方法，它使用已有数据的大部分信息来预测缺失值。
赖于高质量的数据；数据仓库需要对高质量的数据进行一致地集成）； 3. 原始数据中存在的问题：不完整，缺少属性值或仅仅包含聚集数据；
含噪声，包含错误或存在偏离期望的离群值；不一致，用于商品分类的 部门编码存在差异。
16
1. 数据存在的问题
1. 数据收集工具可能错误，数据记录中很多人为的或计算 机导致的的错误。
3.1大数据获取手段
目录
获取手段
爬虫技术
基本流程
爬虫策略
1. 数据获取手段
1. 通过传感器自动采集 2. 数据交易平台购买 3.利用网络爬虫爬取网页上的数据
3
2. 爬虫技术概念
从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的 URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直 到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题 无关的链接，保留有用的链接并将其放入等待抓取的URL队列。
主要是用来存储网页中下载下来的数据记录的容器，并提供生成索引的目标源。中大型的数据库产品 有：Oracle、Sql Server等。
7
3.网络爬虫的基本工作流程
（1）首先选取一部分精心挑选的种子URL； （2）将这些URL放入待抓取URL队列； （3）从待抓取URL队列中取出待抓取在URL，解析DNS， 并且得到主机的ip，并将URL对应的网页下载下来，存储进 已下载网页库中。此外，将这些URL放进已抓取URL队列。 （4）分析已抓取URL队列中的URL，分析其中的其他URL， 并且将URL放入待抓取URL队列，从而进入下一个循环。
第三章：数据采集与处理系统

第三章：数据采集与处理系统


第3章 数据采集系统设计
多通道结构又可分为通路结构（各模拟信 号有各自的A/D）和共用A/D结构（用多路
开关对各模拟信号分别采样）。前者速度
快，通道间串扰小，但所用A/D芯片多，因
而成本高。后者因多路开关切换需要时间，
而A/D公用，故速度慢且开关间存在串扰，
但它们价格低、电路简单，故用得较广。
图 3-2给出了这种结构的一个方案。
第3章 数据采集系统设计
对于长时间大数据流的采集，可通过设置
两块双端口RAM，连续轮流地将数据转移到内
存去。
双端口RAM有两种实现方案，一种是将缓
冲区建立在外部设备中，例如高速A/D可以直
接带缓冲区；另一种是将缓冲区作为单独的扩
充RAM，以作为系统的一个I/O端口。如图3－
5所示为A/D自带RAM。
第3章 数据采集系统设计
③DMA控制器入运行期间，依事先设置的 初始地址和所需传送的字节依次改变地址， 并发出相应的读写信号以达到RAM与I/O 设备（这里即A/D）直接交换信息。④ DMA所传送的字节数以及内存地址，是由 CPU向DMA控制器用软件设置的。DMA 传送数据结束后，便自动撤消向CPU的申 请信号（电位信号），CPU继续运行。 上面仅针对快速数据采集系统分析了 采用DMA控制的必要性。一般地，在高速 数据传送时采用 DMA的场合还有：RAM 与磁带或磁盘之间，RAM到 CRT之间， RAM与 RAM之间，I/O与l/O之间等。
第3章 数据采集系统设计
DMA传送方式的工作原理为：① DMA控制 器向CPU发出DMA请求，CPU在执行完正在 运行的机器周期后即可响应，并向DMA控制 器发出响应回答信号。 ②CPU响应直接数据 存取请求后，便失去与外界（包括RAM、 ROM和I/O设备）交换信息的全部功能，将 读写控制线、地址线以及数据总线全部交出， 即处于高阻输出状态。此时上述总线处于 DMA控制器管理下，如图 3－4的斜线部分 所示。
新2024秋季高一必修1信息技术人教中图版第3章数据处理与应用《数据采集与整理：数据采集》

新2024秋季高一必修1信息技术人教中图版第3章数据处理与应用《数据采集与整理：数据采集》

教学设计：新2024秋季高一必修1 信息技术人教中图版第3章数据处理与应用《数据采集与整理：数据采集》一、教学目标（核心素养）1.信息意识：学生能够认识到数据采集在数据处理与应用中的基础地位，理解数据采集对于信息获取的重要性。

2.数字化学习与创新：学生能够掌握数据采集的基本方法和技巧，能够运用所学知识和技能进行简单的数据采集活动。

3.计算思维：通过数据采集的实践过程，培养学生的逻辑思维和问题解决能力，使其能够合理规划和执行数据采集任务。

4.信息社会责任：引导学生关注数据采集过程中的隐私保护和伦理问题，培养负责任的数据采集意识。

二、教学重点•理解数据采集的概念和意义。

•掌握数据采集的基本方法和技巧。

三、教学难点•如何根据实际需求选择合适的数据采集方法。

•在数据采集过程中，如何确保数据的准确性和完整性。

四、教学资源•多媒体课件（包含数据采集的概念、方法、案例等）。

•数据采集工具（如问卷星、Excel等）。

•教材及配套习题册。

•互联网资源，用于展示数据采集的实际应用和案例。

五、教学方法•讲授法：介绍数据采集的基本概念、意义和方法。

•演示法：通过实际操作演示数据采集工具的使用。

•实践操作法：组织学生分组进行数据采集活动，体验数据采集的过程。

•讨论交流法：引导学生分享数据采集的经验和心得，讨论数据采集中遇到的问题和解决方案。

六、教学过程1. 导入新课•情境导入：通过展示一个与日常生活紧密相关的数据采集案例（如市场调查、环境监测等），引导学生思考数据采集的重要性和应用场景。

•提问导入：提问学生是否了解数据采集？他们知道哪些数据采集的方法？引发学生兴趣，进入新课学习。

2. 新课教学•数据采集概念讲解：•定义：数据采集是指从各种数据源中收集所需数据的过程。

•重要性：数据采集是数据处理与分析的基础，对于获取有价值的信息至关重要。

•数据采集方法介绍：•问卷调查法：通过设计问卷来收集数据，适用于需要了解人们意见和看法的情况。

第三章 数据处理及结果分析3.5-3.6

第三章 数据处理及结果分析3.5-3.6


丙 23.44ห้องสมุดไป่ตู้L，丁23.43mL
例如： 称得某物体的质量为0.5180g，实际质量是 0.5180±0.0001g范围内的某一数值。此时称量的 绝对误差为±0.0001g 。
0.0001 相对误差% 100% 0.02% 0.5180
若写成0.518g，则绝对误差为±0.001g。
精密度显 著性检验
准确度或系 统误差显著 性检验
② 3.14159 ④ 45.354 ⑥ 28.25 ⑧ 32.50 ⑩ 27.451
3.14 45.4 28.2 32.5 27.5
三、有效数字的运算规则 ㈠ 加减法 进行加减运算时，应以小数点后位数最少（即绝 对误差最大）的那个数为准，确定有效数字位数。
例如：将0.0121，25.64及1.05782三个数相加。 问第一法和第二法谁对？


弃去多余数字的原则：“四舍六入，五后有数 就进一，五后无数就成双”。
当尾数 ≤ 4 舍去；



尾数 ≥ 6
进位；
尾数 = 5 若5后有数，则进一；若 5后无数或全是“0”，则根据尾数的前位数为 奇数或偶数而定，前位数为奇数则进位，前位 数为偶数则舍去。
例如：将下列数字修约成三位有效数字。

① 2.71828 2.72 ③ 59.857 ⑦ 42.75 ⑨ 23.550 59.9 42.8 23.6 ⑤ 76.5499 76.5
第五节
有效数字及其运算规则
一、有效数字(Significant figure)的意义及位数
所有确定数字后加上一位不确定性的数字，就叫做有效 数字。或所有确定数字后加上一位可疑数字。
如： 用普通分析天平称量： 12.1238g，6位有效数字。
第三章误差和分析数据的处理

第三章误差和分析数据的处理

2013-8-6
第二节
测定值的准确度 与精确度
一、准确度与误差 二、精密度与偏差 三、准确度与精密度的关系
2013-8-6
一、准确度与误差
(一)准确度—分析结果(X)与真实值(T)的接近程度 误差—衡量准确度高低的标志(取决于系统误 差和随机误差) （二）误差的表示 误差可以用绝对误差和相对误差来表示。 绝对误差 相对误差 Ea＝X－T Ea Er＝ 100% T
2
相对标准偏差(即变异系数)
2013-8-6
Sr
S
X
100%
三.准确度和精密度的关系
准确度和精密度——分析结果的衡量指标。 (1)准确度──分析结果与真实值的接近程度； 准确度的高低用误差来衡量；主要受系统误差和 随机误差的综合影响。 (2)精密度──几次平衡测定结果相互接近的程 度；精密度的高低用偏差来衡量；主要受随机误 差影响。
2013-8-6
第三节 随机误差的 正态分布
规律： (1)正误差和负误差出现 的几率相等； (2)小误差出现的频率较 高，而大误差出现的频 率较低，很大误差出现 的几率近于零。 (3)平均值出现的频率最 高。在消除了系统误差 后，平均值就是真值。
2013-8-6
第四节
有限测定数据的 统计处理
一、置信度与置信区间 二、可疑测定值的取舍
2013-8-6
［H+］= 2.1×10-13 mol/L pH = -lg (2.1×10-13)
= -lg 2.1-lg10-13
= 13-0.32
= 12.68
2013-8-6
（３）.测量或计算得到400、3800、5000等这 样的数据，则有效位数模糊。应根据测定的实际
情况，用科学计数法表示。
计算机应用基础第3章数据处理特点与应用技术

计算机应用基础第3章数据处理特点与应用技术

=1/3 （输入后转换成小数） 或：0 1/3 （保留分数形式）
7
8
选项卡
操作能
文件 开始
保存、另存为、打开、关闭、信息、最近所用文件、 新建、打印、保存并发送、帮助、加载项、选项、 退出 使用剪贴板、设置字体、对齐方式、数字、应用样 式，单元格编辑、排序和筛选、查找替换和选择。
插入
表格、插图（图片、剪贴画、SmartArt）、图表、 迷你图、筛选器、链接（超级链接、书签、交叉引 用）、页眉页脚页码、文本（文本框、文档部件、 艺术字）、公式、符号、编号。
11
2）工作表
工作表：由1048276行和16384列构成的一张表格，是工作簿的重要 组成部分。工作表的名称显示于工作簿底部工作表标签上，当前工 作表以浅色标签显示，用户可以自己定义工作表名称。在工作表中 用户可对数据进行组织、分析及作图等处理。 列 号：用字母表示（A~Z、AA~ZZ、AAA ~XFD共214列） 行 号：用数字按顺序表示（1~1048376 共220行）
13
3.1.3 数据表管理编辑
1. 工作簿的管理 新建：文件→新建→创建 打开：文件→打开 保存（另存为）：文件→保存（另存为） 关闭：文件→关闭 多工作窗口操作同一工作簿：视图（选项卡）窗口（组） 新建窗 口（按钮）全部重排（按钮）
14
2. 工作表的数据录入与编辑
工作表操作区域选定
选定一个单元格：单击选定的单元格。 选定整行（列）：单击行标或列标。 选定整个工作表：单击工作表左上角的行列交叉按钮。 选定相邻单元格区域：直接拖动选定光标或按住[Shift]键加单击。 选定不相邻的矩形区域：按住[Ctrl]键加单击。
5
3.1.2 电子表格软件的功能概述
1. Excel的基本功能 ①数据记录与管理功能。以表格的形式录入、编辑、修改和管理数 据，其中数据的自动填充和有效性规则可以辅助使用者快速且准确地 录入数据。 ②数据计算功能。Excel主要通过公式与函数进行数据计算分析。 ③数据分析功能。Excel中的数据分析主要包括数据的筛选、排序、 分类汇总、统计分析、透视分析等。 ④数据图表化。数据以图表的形式显示除了能带来良好的视觉效果 之外，还可以帮助制作者和阅读者分析数据，查看数据的差异、趋势、 预测发展趋势等。
三章误差和分析数据的处理

三章误差和分析数据的处理

第三章 误差和分析数据旳处理
误差—分析成果与真实值之间旳差值
第一节 误差及其产生旳原因
一、系统误差(又称可测误差)——误差旳 主要起源
系统误差—指由分析过程中某些拟定旳、 经常性旳原因而引起旳误差。影响精确度，不 影响精密度。
系统误差旳特点：重现性、单向性、可测性
1
2
二、随机误差（又称偶尔误差或不可测误差）
解：x 1 (37.40 37.20 37.30 37.50 37.30)% 37.34%
5
1
2
3
4
5
di xi x 0.06 0.14 0.04 0.16 0.04
di 0.06
0.14
0.04 0.16
0.04
d
1
di
1 (0.06 0.14 0.04 0.16 0.04)%
0.308，2.37×105 三位； 0.030，pH=7.20 二位；
0.03，2×105 一位； 3600，20230 不拟定； ※绝对值不大于1旳数据，与小数点相邻旳“0”，只起定
位作用，不是有效数字；其他旳“0”，都是有效数字。 ※（无小数点定位），？（ 20230模糊，应科学计数法：
1位：2 104；2位：2.0 104 ； 3位：2.00 104 ） ※ pH、pM、pK（负对数）、对数，其有效数字旳位数
随机误差——指因为某些难于控制 旳随机原因引起旳误差。不但影响精确 度，而且影响精密度。
特点：1）不拟定性；2）不可测性 3）服从正态分布规律：大小相等旳正 误差和负误差出现旳概率相等；小误差 出现旳概率大，大误差出现旳概率小， 极大误差出现旳概率极小。
产生原因： （1）随机原因（室 温、湿度、气压、电压旳微小变化 等）；（2）个人辨别能力（滴定管读 数旳不拟定性）
数据分析基础

数据分析基础

数据分析基础数据分析是一项重要的技能，它利用统计学和计算机科学的原理和方法，从大量的数据中提取有用的信息和洞察力。

本文将介绍数据分析的基础知识，包括数据的收集和整理、数据的可视化和解读、数据的分析方法和数据分析的应用领域。

数据分析的第一步是数据的收集和整理。

数据可以通过不同的方式收集，例如调查问卷、实验观察、互联网数据和传感器数据等等。

收集到的数据需要进行整理和清洗，以确保数据的准确性和完整性。

数据整理的过程包括数据的去重、缺失值和异常值的处理，以及数据的格式转换和归一化等操作。

数据整理完成后，接下来是数据的可视化和解读。

可视化是通过图表、图形和可交互的界面展示数据，以直观地呈现数据的分布、趋势和关系。

常用的可视化工具包括柱状图、折线图、散点图和饼图等。

通过可视化，可以帮助人们更好地理解数据的特征和规律，并从中获取有用的信息。

除了数据的可视化，数据还需要进行进一步的分析。

数据分析的方法有很多种，包括描述性统计、推断统计、机器学习和深度学习等。

描述性统计通过计算数据的均值、方差、中位数等统计指标，来描述数据的分布和变异性。

推断统计则通过假设检验和置信区间等方法，从样本数据中推断总体的特征和差异。

机器学习和深度学习则利用算法和模型来从数据中发现隐藏的模式和规律，并进行预测和决策。

数据分析的应用领域非常广泛。

在商业领域，数据分析可以帮助企业了解客户需求和市场趋势，优化产品和服务，提高营销策略和预测销售额。

在医疗健康领域，数据分析可以帮助医生诊断疾病和制定治疗方案，优化医疗资源配置和提高医疗服务质量。

在金融领域，数据分析可以帮助银行和保险公司进行风险评估和欺诈监测，改善投资策略和预测市场趋势。

总的来说，数据分析是一项重要的技能，它可以帮助我们从海量的数据中发现有意义的信息和洞察力。

数据分析的过程包括数据的收集和整理、数据的可视化和解读、数据的分析方法和数据分析的应用领域。

通过数据分析，我们可以更好地理解和利用数据，为决策和创新提供有力的支持。

数据分析与处理技术作业指导书

数据分析与处理技术作业指导书

数据分析与处理技术作业指导书第1章数据分析概述 (3)1.1 数据分析的意义与价值 (3)1.2 数据分析的主要流程与方法 (4)第2章数据预处理 (4)2.1 数据清洗 (4)2.1.1 缺失值处理 (4)2.1.2 异常值处理 (5)2.1.3 重复数据删除 (5)2.2 数据集成 (5)2.2.1 数据合并 (5)2.2.2 数据整合 (5)2.3 数据变换 (5)2.3.1 数据规范化 (5)2.3.2 数据离散化 (5)2.3.3 数据聚合 (5)2.4 数据归一化与标准化 (5)2.4.1 最小最大归一化 (5)2.4.2 Z分数标准化 (6)2.4.3 对数变换 (6)第3章数据可视化 (6)3.1 数据可视化原则与技巧 (6)3.1.1 原则 (6)3.1.2 技巧 (6)3.2 常用数据可视化工具 (7)3.2.1 Tableau (7)3.2.2 Power BI (7)3.2.3 ECharts (7)3.2.4 Highcharts (7)3.3 可视化案例分析与实践 (7)3.3.1 案例背景 (7)3.3.2 数据处理 (7)3.3.3 可视化实践 (7)第4章描述性统计分析 (8)4.1 频数与频率分析 (8)4.1.1 频数分析 (8)4.1.2 频率分析 (8)4.2 集中趋势分析 (8)4.2.1 均值 (8)4.2.2 中位数 (8)4.2.3 众数 (8)4.3 离散程度分析 (9)4.3.1 极差 (9)4.3.2 四分位差 (9)4.3.3 方差与标准差 (9)4.4 分布形态分析 (9)4.4.1 偏度 (9)4.4.2 峰度 (9)4.4.3 置信区间 (9)第5章概率论与数理统计基础 (9)5.1 随机变量与概率分布 (9)5.1.1 随机变量 (9)5.1.2 概率分布 (10)5.2 假设检验 (10)5.2.1 假设检验的基本概念 (10)5.2.2 常见的假设检验方法 (10)5.3 方差分析与回归分析 (10)5.3.1 方差分析 (10)5.3.2 回归分析 (10)第6章数据降维与特征选择 (11)6.1 数据降维的意义与方法 (11)6.2 特征选择与特征提取 (11)6.3 主成分分析（PCA） (11)6.4 线性判别分析（LDA） (12)第7章分类与预测 (12)7.1 分类与预测方法概述 (12)7.2 决策树与随机森林 (12)7.2.1 决策树 (12)7.2.2 随机森林 (13)7.3 逻辑回归与支持向量机 (13)7.3.1 逻辑回归 (13)7.3.2 支持向量机 (13)7.4 神经网络与深度学习 (13)7.4.1 神经网络 (13)7.4.2 深度学习 (14)第8章聚类分析 (14)8.1 聚类分析方法概述 (14)8.2 K均值聚类 (14)8.2.1 算法步骤 (14)8.2.2 优缺点 (14)8.3 层次聚类 (14)8.3.1 算法步骤 (15)8.3.2 优缺点 (15)8.4 密度聚类 (15)8.4.1 算法步骤 (15)8.4.2 优缺点 (15)第9章时间序列分析 (15)9.1 时间序列的基本概念 (15)9.1.1 时间序列的组成 (15)9.1.2 时间序列的特点 (16)9.1.3 时间序列的分类 (16)9.2 时间序列预处理 (16)9.2.1 数据清洗 (16)9.2.2 数据转换 (16)9.2.3 特征提取 (17)9.3 时间序列预测方法 (17)9.3.1 传统统计方法 (17)9.3.2 机器学习方法 (17)9.4 时间序列案例分析 (17)9.4.1 金融领域 (17)9.4.2 气象领域 (17)9.4.3 经济领域 (17)第10章综合案例实战 (17)10.1 数据分析与处理案例背景 (18)10.2 数据预处理与可视化 (18)10.2.1 数据清洗 (18)10.2.2 数据整合 (18)10.2.3 数据可视化 (18)10.3 模型构建与优化 (18)10.3.1 特征工程 (18)10.3.2 模型选择与训练 (18)10.3.3 模型优化 (18)10.4 结果评估与总结 (18)10.4.1 结果评估 (18)10.4.2 总结 (18)第1章数据分析概述1.1 数据分析的意义与价值数据分析作为现代社会的一种核心技术，其意义与价值日益凸显。

大数据 第3章 数据采集与预处理


图3-1 Scribe架构
（1）Scribe Agent Scribe Agent实际上是一个Thrift Client，也是向Scribe发 送数据的唯一方法。Scribe内部定义了一个Thrift接口，用户使用 该接口将数据发送给不同的对象。Scribe Agent发送的每条数据记 录包含一个种类（Category）和一个信息（Massage）。
大数据导论
第3章 数据采集与预处理
本章主要内容如下。 （1）大数据的来源。 （2）数据的采集方法。 （3）数据预处理流程。
3.1 大数据的来源
1．信息管理系统 企业内部使用的信息管理系统，包括办公自动化系统、业务 管理系统等。 信息管理系统主要通过用户输入和系统二次加工的方式产生 数据，其产生的数据大多数为结构化数据，通常存储在数据库中。
由于Flume提供了大量内置 的Source、Channel和Sink类型， 而不同类型的Source、Channel 和Sink可以自由组合。因此，多 个Agent可以基于用户设置的配 置文件，灵活地组合进行协同工 作，如图3-4所示。
图3-4 多Agent协同工作
Flume支持设置Sink的容错和负载均衡技术（见图3-5），这 样可以保证在一个Agent失效的情况下，整个系统仍能正常收集数 据，同时也不会因为Agent处于超负荷的工作状态，影响整个系统 的运行效率。
图3-2 Chukwa架构
（1）适配器（Chukwa Adapter） 适配器是直接采集数据的接口和工具。每种类型的数据对应一个 Adapter，目前包括的数据类型有命令行输出、log文件和httpSender等。 同时用户也可以自己实现一个Adapter来满足需求。 （2）代理（Chukwa Agent） Agent给Adapter提供各种服务，包括启动和关闭Adapter，将Adapter 收集的数据通过HTTP传递给Collector，并定期记录Adapter状态，以便 Adapter出现故障后能迅速恢复。一个Agent可以管理多个Adapter。

第3章空间数据处理

• 地图比例尺反映了制图区域和地图的比例关系 • 纸质地图：内容、概括程度、数据精度等
GIS：数据精度 • 比例尺的含义：
制图区域较小，采用各方面变形都较小的地图投影，图上各 处的比例是一致的，故此时比例尺的含义是图上长度与相应地面 长度的比例；
制图区域较大时，地图投影比较复杂，地图上长度因地点和 方向的不同而有所变化，这种地图比例尺一般是指在地图投影时， 对地球半径缩小的比率， 称为主比例尺。地图经过投影后，体 现在图上只有个别点线没有长度变形，也就是说，只有在这些长 度没有变形的点或线上，才可用地图上注明的比例尺 • 我国地图比例尺分级系统：
• (1) 利用上述点转换法，将点A(x1, y1)，B(x2, y2)分别转换 成栅格数据，求出相应的栅格的行列值。
• (2) 由上述行列值求出直线所在行列值的范围。
行 i=1+Integer(ymax-y/⊿y) 列 j=1+Integer(x-xmin/⊿x)
第 3 章 空间数据处理
（二）线的栅格化
• 由于曲线可用折线来表示，也就是当折线上取点足够多时， 所画的折线在视觉上成为曲线。因此，线的变换实质上是 完成相邻两点之间直线的转换。若已知一直线AB其两端点 坐标分别为A(x1, y1)和B(x2, y2)，则其转换过程不仅包括标 点A，B分别从点矢量数据转换成栅格数据，还包括求出直 线AB所经过的中间栅格数据。其过程如下：
第 3 章 空间数据处理
•
第 3 章 空间数据处理
• 其转换公式为： • ⊿X=(xmax-xmin)/J ⊿Y=(ymax-ymin)/I • 式中：⊿X，⊿Y分别表示每个栅格单元的边长。
xmax,xmin分别表示矢量坐标中x的最大值和最小 值。ymax, ymin分别表示矢量坐标中y的最大值和 最小值。I， J分别表示栅格的行数和列数。 • 例如：已知某一地区x方向为15km，y方向为 30km，现要把该地区的地块图转换成栅格数据。 要求栅格的分辨率为30mx30m，则由上式可知： • 行数I=30km/30m=1000 列数J=15km/30m=500

【2021年整理】数据分析基础课程 第3章 数据的处理


22
这样计算出来的年数通常是一个小数，如果希望得到整数，可以用int函数取整，即用公 式“=int(D2/360)”，结果是3，如图3-28所示。
因为int函数的功能是返回不大于括号内参数的整数。
图3-28 用int函数取整
6/26/2021
精品课件，可编辑，欢迎下载，2021最新整理
23
如果要进行四舍五入式取整，则要用函数round。当round(number，digits)函数的第二个参数 为0时，就可以对第一个参数进行四舍五入式取整，所以在编辑栏将公式修改为“=round(D2/360,0)” 即可，如图3-29所示。
6/26/20图21 3-6 选择“定位条件”命令 精品课件，可编辑，欢迎下载，202图1最3新-整7 理选择定位条件“空值”
7
（4）单击“确定”按钮后，E列所有的空白单元格呈选中状态，如图3-8所示。 （5）输入替代值“18”，按Ctrl+Enter组合键确认，结果如图3-9所示。
图3-8 查找到所有空白单元格
图3-35 原始数据的散点图
6/26/2021
精品课件，可编辑，欢迎下载，2021最新整理
30
图3-36 选择“平均值”命令
图3-37 计算三项平均数
6/26/2021
精品课件，可编辑，欢迎下载，2021最新整理
31
图3-38 计算三项移动平均数
6/26/2021
精品课件，可编辑，欢迎下载，2021最新整理
图3-39 修整后的数据散点图
32
3.3.2 四项移动平均法 例：计算图3-40所示的表格中商品销售额的四项移动平均数。
图3-40 四项移动平均数的计算
6/26/2021

数据分析与解读实用手册

数据分析与解读实用手册第1章数据分析基础 (3)1.1 数据分析概述 (3)1.2 数据分析流程 (4)1.3 数据分析工具与技能 (4)第2章数据采集与清洗 (5)2.1 数据采集方法 (5)2.1.1 网络爬虫 (5)2.1.2 数据接口 (5)2.1.3 问卷调查 (5)2.1.4 数据挖掘 (5)2.2 数据清洗原则 (5)2.2.1 完整性原则 (5)2.2.2 准确性原则 (5)2.2.3 一致性原则 (5)2.2.4 时效性原则 (5)2.3 数据质量评估 (6)2.3.1 数据完整性 (6)2.3.2 数据准确性 (6)2.3.3 数据一致性 (6)2.3.4 数据时效性 (6)2.3.5 数据可靠性 (6)第3章数据存储与管理 (6)3.1 数据存储方式 (6)3.1.1 本地存储 (6)3.1.2 网络存储 (6)3.1.3 云存储 (6)3.2 数据库基础 (7)3.2.1 数据库类型 (7)3.2.2 数据库设计 (7)3.2.3 数据库管理 (7)3.3 数据仓库与数据湖 (7)3.3.1 数据仓库 (7)3.3.2 数据湖 (7)第4章数据预处理 (8)4.1 数据集成与融合 (8)4.1.1 数据集成 (8)4.1.2 数据融合 (8)4.2 数据规范化与标准化 (9)4.2.1 数据规范化 (9)4.2.2 数据标准化 (9)4.3 数据降维与特征选择 (9)4.3.2 特征选择 (9)第5章数据可视化与摸索性分析 (10)5.1 数据可视化基础 (10)5.1.1 数据可视化目的 (10)5.1.2 数据可视化原则 (10)5.1.3 数据可视化工具 (10)5.2 常见数据可视化图表 (10)5.2.1 条形图 (10)5.2.2 折线图 (10)5.2.3 饼图 (10)5.2.4 散点图 (10)5.2.5 热力图 (11)5.2.6 地图 (11)5.3 摸索性数据分析方法 (11)5.3.1 数据描述性统计 (11)5.3.2 数据分布分析 (11)5.3.3 变量关系分析 (11)5.3.4 异常值分析 (11)5.3.5 数据分群分析 (11)5.3.6 时间序列分析 (11)第6章统计分析方法与应用 (11)6.1 描述性统计分析 (11)6.2 假设检验与置信区间 (12)6.3 方差分析与回归分析 (12)6.3.1 方差分析 (12)6.3.2 回归分析 (12)第7章机器学习算法与应用 (12)7.1 机器学习概述 (12)7.2 监督学习算法 (12)7.2.1 线性回归 (12)7.2.2 逻辑回归 (13)7.2.3 决策树 (13)7.2.4 随机森林 (13)7.2.5 支持向量机 (13)7.3 无监督学习算法 (13)7.3.1 聚类分析 (13)7.3.2 主成分分析 (13)7.3.3 自编码器 (13)7.3.4 稀疏性学习 (13)第8章深度学习技术与应用 (14)8.1 深度学习基础 (14)8.1.1 深度学习发展历程 (14)8.1.2 神经网络基本结构 (14)8.1.4 损失函数与优化算法 (14)8.1.5 深度学习的训练策略 (14)8.2 卷积神经网络 (14)8.2.1 卷积神经网络基础结构 (14)8.2.2 卷积层与池化层 (14)8.2.3 全连接层与softmax层 (14)8.2.4 常见的卷积神经网络模型 (14)8.2.5 卷积神经网络在图像识别中的应用 (14)8.3 循环神经网络 (14)8.3.1 循环神经网络基础结构 (14)8.3.2 长短时记忆网络（LSTM） (14)8.3.3 门控循环单元（GRU） (14)8.3.4 双向循环神经网络 (14)8.3.5 循环神经网络在自然语言处理中的应用 (15)第9章数据分析案例解析 (15)9.1 金融领域案例分析 (15)9.2 电商领域案例分析 (15)9.3 医疗领域案例分析 (16)第10章数据分析实践与优化 (16)10.1 数据分析项目的实施与评估 (16)10.1.1 项目实施流程 (16)10.1.2 项目评估指标 (16)10.1.3 项目优化策略 (17)10.2 数据分析团队协作与沟通 (17)10.2.1 团队协作模式 (17)10.2.2 沟通技巧与方法 (17)10.2.3 团队协作工具与平台 (17)10.3 数据分析优化策略与方法 (17)10.3.1 数据预处理优化 (17)10.3.2 特征工程优化 (17)10.3.3 模型调优与评估 (17)第1章数据分析基础1.1 数据分析概述数据分析，简而言之，是对数据进行系统化处理和分析的过程，旨在揭示数据背后的信息、趋势和模式。

数据分析基础教程——数据驱动决策的指南

数据分析基础教程——数据驱动决策的指南第1章数据分析基础概念 (4)1.1 数据分析的定义与价值 (4)1.2 数据分析的方法与流程 (4)1.3 数据分析工具与技能要求 (5)第2章数据收集与清洗 (5)2.1 数据来源与收集方法 (5)2.1.1 数据来源 (5)2.1.2 数据收集方法 (6)2.2 数据质量评估与清洗 (6)2.2.1 数据质量评估 (6)2.2.2 数据清洗 (6)2.3 数据整合与预处理 (6)2.3.1 数据整合 (6)2.3.2 数据预处理 (7)第3章数据摸索性分析 (7)3.1 数据描述性统计 (7)3.1.1 中心趋势度量 (7)3.1.2 离散程度度量 (7)3.1.3 分布形状度量 (7)3.2 数据可视化 (7)3.2.1 散点图 (7)3.2.2 条形图 (8)3.2.3 饼图 (8)3.2.4 箱线图 (8)3.2.5 直方图 (8)3.3 常见数据分布特征分析 (8)3.3.1 正态分布 (8)3.3.2 偏态分布 (8)3.3.3 伯努利分布 (8)3.3.4 二项分布 (8)3.3.5 指数分布 (8)第4章数据分析方法 (8)4.1 描述性分析 (8)4.1.1 频率分布 (9)4.1.2 图表展示 (9)4.1.3 统计量度 (9)4.1.4 相关性分析 (9)4.2 推断性分析 (9)4.2.1 假设检验 (9)4.2.2 估计理论 (9)4.2.3 方差分析 (9)4.2.4 回归分析 (9)4.3 预测性分析 (9)4.3.1 时间序列分析 (9)4.3.2 机器学习算法 (9)4.3.3 神经网络 (10)4.3.4 模型评估与优化 (10)第5章统计推断基础 (10)5.1 假设检验 (10)5.2 置信区间 (10)5.3 方差分析 (10)第6章回归分析 (11)6.1 线性回归 (11)6.1.1 线性回归的基本概念 (11)6.1.2 一元线性回归 (11)6.1.3 多元线性回归 (11)6.1.4 线性回归的评估 (11)6.2 多元回归 (11)6.2.1 多元回归的概念 (11)6.2.2 多元回归方程的建立 (12)6.2.3 多元回归的应用 (12)6.2.4 多元回归的注意事项 (12)6.3 非线性回归 (12)6.3.1 非线性回归的概念 (12)6.3.2 非线性回归模型 (12)6.3.3 非线性回归的参数估计 (12)6.3.4 非线性回归的应用 (12)6.3.5 非线性回归的评估与优化 (12)第7章数据挖掘与机器学习基础 (12)7.1 数据挖掘概念与任务 (12)7.1.1 数据挖掘的基本概念 (13)7.1.2 数据挖掘的任务 (13)7.2 监督学习算法 (13)7.2.1 线性回归 (13)7.2.2 逻辑回归 (13)7.2.3 决策树 (13)7.2.4 支持向量机 (13)7.3 无监督学习算法 (14)7.3.1 Kmeans聚类 (14)7.3.2 层次聚类 (14)7.3.3 主成分分析 (14)7.3.4 自组织映射 (14)第8章数据可视化与报告撰写 (14)8.1.1 明确目标 (14)8.1.2 简洁明了 (15)8.1.3 合理选择图表类型 (15)8.1.4 适当使用颜色 (15)8.1.5 注意数据精度 (15)8.1.6 优化布局 (15)8.2 常用数据可视化工具 (15)8.2.1 Microsoft Excel (15)8.2.2 Tableau (15)8.2.3 Power BI (15)8.2.4 Python数据可视化库（如Matplotlib、Seaborn等） (15)8.2.5 R语言可视化包（如ggplot2、lattice等） (16)8.3 数据分析报告撰写方法 (16)8.3.1 报告结构 (16)8.3.2 引言 (16)8.3.3 数据概述 (16)8.3.4 分析方法 (16)8.3.5 分析结果 (16)8.3.6 结论与建议 (16)8.3.7 语言风格 (16)第9章数据分析实践案例 (16)9.1 行业案例分析：电商 (16)9.1.1 背景介绍 (17)9.1.2 数据来源与处理 (17)9.1.3 分析方法 (17)9.1.4 案例应用 (17)9.2 行业案例分析：金融 (17)9.2.1 背景介绍 (17)9.2.2 数据来源与处理 (17)9.2.3 分析方法 (17)9.2.4 案例应用 (17)9.3 行业案例分析：医疗 (18)9.3.1 背景介绍 (18)9.3.2 数据来源与处理 (18)9.3.3 分析方法 (18)9.3.4 案例应用 (18)第10章数据驱动决策实施与优化 (18)10.1 数据驱动决策模型构建 (18)10.1.1 数据收集与预处理 (18)10.1.2 特征工程 (19)10.1.3 模型选择与训练 (19)10.1.4 模型评估与调优 (19)10.2 决策优化方法与实践 (19)10.2.2 整数规划 (19)10.2.3 非线性规划 (19)10.2.4 智能优化算法 (19)10.3 数据驱动决策的未来发展 (19)10.3.1 数据驱动与人工智能的融合 (20)10.3.2 多源数据融合 (20)10.3.3 实时数据驱动决策 (20)10.3.4 隐私保护与数据安全 (20)第1章数据分析基础概念1.1 数据分析的定义与价值数据分析是一种通过科学方法对数据进行收集、处理、分析和解释的过程，旨在揭示数据背后的规律、趋势和关联性，为决策提供支持。

第三章-SPSS数据的预处理[002]

（2）采用指定条件选取和随机抽样方法进行 数据选取后，SPSS将在数据编辑窗口中自动 生成一个名为filter_$的新变量，取值为1或0。 1表示本个案被选中，0表示未被选中。该变量 是SPSS产生的中间变量，如果删除它则自动 取消样本抽样。
26
3.3.2 数据选取的基本操作
（1）选择菜单Data—Select cases （2）根据分析需要选择数据选取方法 （3）Unselected cases are指定对未选中
21
3.3.1 数据选取的基本方式
（1）选取全部数据（All cases） （2）按指定条件选取（ If condition is
satisfied ） SPSS要求用户以条件表达式给出数据选
取的条件，SPSS将自动对数据编辑窗口中的 所有个案进行条件判断。那些满足条件的个案， 即条件判断为真的个案将被自动选取出来，而 那些条件判断为假的个案则不被选中。
第三章 SPSS数据的预处理
1
为什么要进行数据的预处理
▪ 在数据文件建立之后，通常还需要对分析 的数据进行必要的预加工处理，这是数据 分析过程中必不可少的一个关键步骤。
▪ 数据的预加工处理服务于数据分析和建模， 主要包括以下几个问题：
2
预处理的内容
➢ 数据的排序 ➢ 变量计算 ➢ 数据选取 ➢ 计数 ➢ 分类汇总 ➢ 数据分组 ➢ 数据预处理的其他功能：转置、加权、
13
（1）简单条件表达式 由关系运算符、常量、变量以及算术表达式
等组成的式子。其中关系运算符包括>、<、 ＝、～＝（不等于）、>＝、<＝。（nl<35）
（2）复合条件表达式 又称逻辑表达式，是由逻辑运算符号、圆括
号和简单条件表达式等组成的式子。其中，逻 辑运算符号包括&或AND（并且）、|或OR （或者）、～或NOT（非）。NOT的运算优先 级最高，其次是AND，最低是OR。可以通过 圆括号改变运算的优先级。（nl<=35）and not （zc<3）
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

年数，结果为3.6，如图3-27所示。
图3-27 计算销售年数
这样计算出来的年数通常是一个小数，如果希望得到整数，可以用int函数取整，即用公
式“=int(D2/360)”，结果是3，如图3-28所示。
因为int函数的功能是返回不大于括号内参数的整数。
图3-28 用int函数取整
如果要进行四舍五入式取整，则要用函数round。当round(number，digits)函数的第二个参数
3.3 数据的修整
在一段较长的时间内，由于普通的、持续的、决定性等基本因素的作用，总体往往呈现逐渐
向上或向下变动的趋势，如图3-31所示。
图3-31 明显的向上趋势
在这样的趋势中，也不排除受一些偶然因素或不
规则因素的影响，出现与整体趋势相差很大的极端数
据，如图3-32中箭头所对应的数据所示。 移动平均法就是从时间数列的第一位数值开始， 按一定项数求平均数，逐项移动，形成一个新的动态 数列。 常用的移动平均法有三项移动平均法和四项移动 平均法。
（3）在“移动平均”对话框中设置各参数如图3-47所示，最终结果如图3-48所示。
图3-47 三项“移动平均”的设置
图3-48 最终结果
可以通过公式“好评率=
好评单数 100% ”来计算好评率，如图3-24所示。 成交单数
图3-24 计算好评率
例3：文件“数据处理.xlsx”的“数据计算3”工作表中，已知商品的“上架日期”和“下架
日期”，可以通过公式“销售天数=下架日期-上架日期”来计算商品的销售天数，如图3-25
所示。
图3-25 计算销售天数
左边的“加载项”选项后，再单击下方的“转到”按钮，
如图3-43所示。
图3-43 加载项
（3）在随后打开的“加载宏”对话框中，选中“分析工具库”复选项，单击“确定”按钮，
如图3-44所示。
（4）加载成功后，会在”数据”选项卡中看到一个新的功能“数据分析”，如图3-45所示。
图3-44 加载“分析工具库”
图3-1 数据格式不一致的资料
1.1 数字通信系统的基本概念 下面就以图 3-1所示的数据为例，将“身高”这个字段中的数据去掉字符“cm”。 打开Excel文件“数据处理.xlsx”，找到“数据清洗”工作表。 （1）把鼠标指针移到字母C上，当指针变成 时，单击选择C列，如图3-2所示。 （2）选择“查找和选择”|“替换”命令，如图3-3所示。
图3-13 数据分列
（3）要将字段“姓名”中的第一个字分列出来，所以选中“固定列宽”单选项，如图3-14
所示。
图3-14 选中“固定列宽”单选项
（4）单击“下一步”按钮，在刻度尺上单击鼠标确定分列的位置，如图3-15所示。
（5）单击“下一步”按钮，确定目标区域的起点单元格D1，如图3-16所示。
图3-32 局部的数据异动
3.3.1 三项移动平均法
例：计算图3-33所示的表格中，商品销售额的三项移动平均数。
分析：选择单元格区域A1:B13，单击“插入”|“散点图”|“仅带数据标记的散点图”按钮， 如图3-34所示。
图3-33 2004—2015年销售额统计
图3-34 插入散点图
结果得到图3-35所示的散点图，从散点图可以直观地看出，第3个点明显偏小，而第6个点明
图3-8 查找到所有空白单元格
图3-9 统一输入新的数据
3.1.3 删除重复记录
删除重复记录的操作极其简单，只需单击数据表的任意位置，再单击“数据”|“删除重复项”
按钮即可，如图3-10所示。来自图3-10 删除重复项
3.2 数据加工
数据加工的手段主要有数据转置、字段分列、字段 匹配、数据抽取、数据计算。 3.2.1 数据转置
函数round(number,digits)的功能是进行四舍五入运算，功能解释如表3-1所示。
表3-1 round函数解释
number digits 四舍五入的位数 结果 -2 十位 1300 -1 个位 1260 0 取整 1263 1263.472 1 保留1位小数 1263.5 2 保留2位小数 1263.47
图3-42 计算四项移动平均正位数
3.3.3 分析工具库的加载和应用
在Excel中，还可以用分析工具库完成移动平均数的
计算。 默认情况下，Excel并没有安装分析工具库。 下面介绍分析工具库的安装过程。 （1）在Excel 2010窗口中，选择“文件”|“选项” 命令。 （2）在随后打开的“Excel选项”对话框中，单击
目录/Contents
第三章 数据的处理
3.1 数据清洗
3.2 数据的来源 3.3 数据的修整
3.1 数据清洗
数据清洗就是将格式错误的数据进行处理纠正，将
错误的数据纠正或删除，将缺失的数据补充完整，将
重复多余的数据删除。 3.1.1 数据一致性处理 通过统计调查收集上来的数据，经常会出现同一字 段的数据格式不一致的问题，如图3-1所示。 这会直接影响后续的数据分析，所以必须对数据的 格式做出一致性处理。
为0时，就可以对第一个参数进行四舍五入式取整，所以在编辑栏将公式修改为“=round(D2/360,0)”
即可，如图3-29所示。
图3-29 用round函数取整
函数int(number)的功能是向下取整（数轴上离左边最近的 整数），如图3-30所示。
图3-30 int函数解释
所以，int(6.4)=int(6.7)=6，int(-6.4)=int(-6.7)=-7。
显偏大，这可能是由不确定因素的影响造成的。
在这种情况下，可以通过移动平均法对数据做修整，尽量排除不确定因素对数据造成的影响。
图3-35 原始数据的散点图
图3-36 选择“平均值”命令
图3-37 计算三项平均数
图3-38 计算三项移动平均数
图3-39 修整后的数据散点图
3.3.2 四项移动平均法
图3-18 “全校名单”工作表
图3-19 “四级名单”工作表
（1）将“白有成”的身份证号码匹配到单元格D2。
（2）双击D2的填充柄完成填充，将所有人的身份证号码都匹配过来，结果如图3-21所示。
搜索的关键字 搜索的区域
返回值所在的列数
此处解释有误，应该是 false 为 精确匹配，true 为大致匹配
图3-45 加载成功后的“数据”选项卡
下面介绍利用“数据分析”功能计算三项移动平均数的方法。
（1）打开文件“数据处理.xlsx”中的“三项移动平均”工作表，单击“数据”|“数据分析”
按钮。 （2）在随后打开的“数据分析”对话框中选择“移动平均”选项，如图3-46所示。
图3-46 选择“移动平均”选项
图3-20 vlookup函数的参数设置
图3-21 匹配结果
3.2.4 数据抽取
数据抽取是指利用原数据清单中某些字段的部分信息得到一个新字段。
常用的数据抽取函数有left()、right()、mid()、year()、month()、day()、weekday()。
图3-22 weekday函数应用
图3-2 选择C列
图3-3 选择“替换”命令
（3）在“查找和替换”对话框的“查找内容”中
输入“cm”，设置“替换为”为空，单击“全部替换”
按钮完成替换，如图3-4所示。 替换后的结果如图3-5所示。
图3-4 输入查找内容和替换内容
图3-5 替换后的结果
3.1.2 缺失数据的处理
数据清单中，单元格如果出现空值，就认为数据存
例：计算图3-40所示的表格中商品销售额的四项移动平均数。
图3-40 四项移动平均数的计算
下面在Excel中用函数average计算四项移动平均
数。
（1）打开文件“数据处理.xlsx”中的“四项移动 平均”工作表，在C3中使用公式“=average(B2:B5)” 计算第一个四项移动平均数，如图3-41所示。 （2）确认C3的计算后，将C3的填充柄填充到 C11。
（1）选择“年龄”所在的E列。 （2）选择“查找和选择”|“定位条件”命令，如图3-6所示。 （3）在“定位条件”对话框中，选中“空值”单选项，如图3-7所示。
图3-6 选择“定位条件”命令
图3-7 选择定位条件“空值”
（4）单击“确定”按钮后，E列所有的空白单元格呈选中状态，如图3-8所示。
（5）输入替代值“18”，按Ctrl+Enter组合键确认，结果如图3-9所示。
图3-41 计算四项移动平均数
（3）在D4中使用公式“=average(C3:C4)”，如图
3-42所示。
（4）确认D4的计算后，将D4的填充柄填充到D11。 注意： 若采用奇数项移动平均，平均值对准居中原时间数列 的项数，一次可得趋势值。 若采用偶数项移动平均，平均值未对准居中原时间数 列的项数，需再通过一次移动平均进行正位。
操作的方法是：先复制好横行数据，然后在粘贴时
单击“开始”|“剪贴板”组“粘贴”按钮下面的三角 箭头，单击“转置”按钮即可，如图3-11所示。
图3-11 转置性粘贴
3.2.2 字段分列
（1）选择“字段分列”工作表的A列数据，如图3-12所示。
（2）单击“数据”|“分列”按钮，如图3-13所示。
图3-12 选择A列
在缺失。缺失数据的处理方法通常有以下3种： 用样本均值（或众数、中位数）代替缺失值； 将有缺失值的记录删除； 保留该记录，在要用到该值做分析时，将其临 时删除（最常用方法）。
首先来解决如何发现缺失数据，仅靠眼睛来搜索缺失数据显然是不现实的，一般我们用
“定位条件”来查找缺失数据的单元格。下面演示将“年龄”字段中的空值均替换为“18”。
例4：文件“数据处理.xlsx”的“数据计算4”工作表中，已知商品的“上架日期”，要计算