1.平均数：
是描述一组数据集中趋势的指标，有很多种平均数，如：算数平均数，几何平均数，调和平均数，加权平均数，平方平均数，指数平均数等。
最常用的是算数平均数
平均数非常容易受到极值的影响，因此在数据处理中，要注意对极值的处理
2.绝对数：
很多书中的定义是某现象在特定时间和范围内的总体情况，是求和计算，虽然合计数在数据分析中是非常常用的一个指标，但是我认为绝对数不一定就是总体情况，也不一定是求和计算，任何通过加、减、乘得出的数字均可称为绝对数，可以是总体，也可以是个体。
3.相对数：
两个指标的比值，也就是两个绝对数的比值，根据研究目的和对比基础不同相对数可分为：1.结构相对数
将同一总体内的部分数值与全部数值对比求得比重，用以说明事物的性质、结构或质量。如,居民食品支出额占消费支出总额比重、产品合格率等。
2.比例相对数
将同一总体内不同部分的数值对比，表明总体内各部分的比例关系，如,人口性别比例、投资与消费比例等。
一、描述统计 描述性统计是指运用制表和分类，图形以及计筠概括性数据来描述数据的集中趋势、离散趋势、偏度、峰度。 1、缺失值填充：常用方法：剔除法、均值法、最小邻居法、比率\回归法、决策树法。 2、正态性检验：很多统计方法都要求数值服从或近似服从正态分布，所以之前需要进行正态性检验。常用方法：非参数检验的K-量检验、P-P图、Q-Q图、W检验、动差法。 二、假设检验 1、参数检验 参数检验是在已知总体分布的条件下（一股要求总体服从正态分布）对一些主要的参数(如均值、百分数、方差、相关系数等）进行的检验。 1）U验使用条件：当样本含量n较大时，样本值符合正态分布 2）T检验使用条件：当样本含量n较小时，样本值符合正态分布 A 单样本t检验：推断该样本来自的总体均数μ与已知的某一总体均数μ0 (常为理论值或标准值)有无差别； B 配对样本t检验：当总体均数未知时，且两个样本可以配对，同对中的两者在可能会影响处理效果的各种条件方面扱为相似； C 两独立样本t检验：无法找到在各方面极为相似的两样本作配对比较时使用。 2、非参数检验 非参数检验则不考虑总体分布是否已知，常常也不是针对总体参数，而是针对总体的某些一股性假设（如总体分布的位罝是否相同，总体分布是否正态）进行检验。 适用情况：顺序类型的数据资料，这类数据的分布形态一般是未知的。
A 虽然是连续数据，但总体分布形态未知或者非正态； B 体分布虽然正态，数据也是连续类型，但样本容量极小，如10以下； 主要方法包括：卡方检验、秩和检验、二项检验、游程检验、K-量检验等。 三、信度分析 检査测量的可信度，例如调查问卷的真实性。 分类： 1、外在信度：不同时间测量时量表的一致性程度，常用方法重测信度 2、内在信度；每个量表是否测量到单一的概念，同时组成两表的内在体项一致性如何，常用方法分半信度。 四、列联表分析 用于分析离散变量或定型变量之间是否存在相关。 对于二维表，可进行卡方检验，对于三维表，可作Mentel-Hanszel分层分析。 列联表分析还包括配对计数资料的卡方检验、行列均为顺序变量的相关检验。 五、相关分析 研究现象之间是否存在某种依存关系，对具体有依存关系的现象探讨相关方向及相关程度。 1、单相关：两个因素之间的相关关系叫单相关，即研究时只涉及一个自变量和一个因变量； 2、复相关：三个或三个以上因素的相关关系叫复相关，即研究时涉及两个或两个以上的
技能训练十一属性数据分析 一、训练目的与要求 1．掌握属性数据分析方法。 2．掌握属性数据分析图表与原图形的组合。 二、训练准备 1．训练数据：本训练数据保存于文件夹Exercise-11中。 2．预备知识：属性分析的方法。 三、训练步骤与内容 1．数据准备 将训练数据复制，粘贴至各自文件夹内。 启动MAPGIS主程序。在主菜单界面中，点击参数按钮，在弹出的对话框中，设置工作目录最终指向Exercise-14（盘符依据各人具体情况设置）。 2．属性分析 执行如下命令：空间分析?空间分析?文件?装载区文件，加载要进行属性分析的数据文件。 Step1: 加载数据文件中所提供 的REGION.WP区文件 执行如下命令：属性分析?单属性分类统计?立体饼图，选择属性分析类型。
Step2: 属性 Step3: 选择分类属性字段为小麦，保留属性字段为乡名、水稻、玉米Step4: 设置分类方式为分段方式 Step5: 确定，退出设置 分类值域按图中所示输 入
分类统计结果图 3．保存文件 执行如下命令：文件?保存当前文件，换名保存属性分析所生成的图形文件，系统生成的表格文件（*.WB）不需要保存。 Step: 将缺省文件名改为“属性分析”，点 击保存按钮。按此方法依次将线、区 文件名均改为“属性分析” 4．文件组合 执行如下命令：图形处理?输入编辑?打开已有工程文件，打开所提供的Exercise-14.MPJ，在工程文件管理窗口，点击鼠标右键，选择“添加项目”选项，将前面生成的属性分析.WT、属性分析.WL、属性分析.WP添加进此工程文件。 关闭REGION.WP、POINT.WT、RIVER.WL和LINE.WL四个文件。 执行如下命令：其它?整块移动，调整属性分析.WT、属性分析.WL、属性分析.WP三个图形文件的位置，使与主图位置相适应。若此三个图形与主图相比过大的话，执行如下命令：其它?整图变换?键盘输入参数，来进行调整（注意应确定REGION.WP、POINT.WT、RIVER.WL 和LINE.WL四个文件处于关闭状态）。
数据分析中的变量分类 数据分析工作每天要面对各种各样的数据，每种数据都有其特定的含义、使用范围和分析方法，同一个数据在不同环境下的意义也不一样，因此我们想要选择正确的分析方法，得出正确的结论，首先要明确分析目的，并准确理解当前的数据类型及含义。统计学中的变量指的是研究对象的特征，我们有时也称为属性，例如身高、性别等。每个变量都有变量值，变量值就是我们分析的内容，它是没有含义的，只是一个参与计算的数字，所以我们主要关注变量的类型，不同的变量类型有不同的分析方法。 变量主要是用来描述事物特征，那么按照描述的粗劣，有以下两种划分方法： 按基本描述划分 【定性变量】：也称为名称变量、品质变量、分类变量，总之就是描述事物特性的变量，目的是将事物区分成互不相容的不同组别，变量值多为文字或符号，在分析时，需要转化为特定含义的数字。 定性变量可以再细分为： 有序分类变量：描述事物等级或顺序，变量值可以是数值型或字符型，可以进而比较优劣，如喜欢的程度：很喜欢、一般、不喜欢 无序分类变量：取值之间没有顺序差别，仅做分类，又可分为二分类变量和多分类变量二分类变量是指将全部数据分成两个类别，如男、女，对、错，阴、阳等，二分类变量是一种特殊的分类变量，有其特有的分析方法。多分类变量是指两个以上类别，如血型分为A、B、AB、O 【定量变量】：也称为数值型变量，是描述事物数字信息的变量，变量值就是数字，如长度、重量、产量、人口、速度和温度。 定量变量可以再细分 连续型变量：在一定区间内可以任意取值，其数值是连续不断的，相邻两个数值可作无限分割，即可取无限个数值。如身高、绳子的长度等。 离散型变量：值只能用自然数或整数单位计算，其数值是间断的，相邻两个数值之间不再有其他数值，这种变量的取值一般使用计数方法取得。 按照精确描述划分 【定类变量】
统计学相关术语 1、概率（proability）：度量一随机事件发生可能性大小的实数，其值介于0 与1 之间。一随机事件的慨率可看作在相同条件下重复试验时，该事件发生的频率的稳定值，也可看作对事件发生的相信程度。 2、统计学（statistics）：主要通过利用概率论建立数学模型，收集所观察系统的数据，进行量化的分析、总结，并进而进行推断和预测，为相关决策提供依据和参考。也就是收集、处理、分析、解释数据并从数据中得出结论的科学。主要又分为描述统计学和推断统计学。 3、描述统计（Descriptive statistics）：描述统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。目的是描述数据特征，找出数据的基本规律。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。 4、推断统计（Inferential Statistics）：推断统计是研究如何根据样本数据来推断总体数量特征的方法，它是在对样本数据进行描述的基础上，对统计总体的未知数量特征做出以概率形式表述的推断。主要包括参数估计与假设检验两种方法。 描述统计学和推断统计学的划分，一方面反映了统计方法发展的前后两个阶段，同时也反映了应用统计方法探索客观事物数量规律性的不同过程。 5、数值型数据(metric data)：按数字尺度测量的观察值，结果表现为具体的数值，对事物的精确测度，例如：身高为175cm、168cm、183cm。 6、分类数据(categorical data) ：只能归于某一类别的非数字型数据，对事物进行分类的结果，数据表现为类别，用文字来表述，例如，人口按性别分为男、女两类。 7、总体(population)：所研究的全部个体(数据) 的集合，其中的每一个个体也称为元素。分为有限总体和无限总体：有限总体的范围能够明确确定，且元素的数目是有限的；无限总体所包括的元素是无限的，不可数的。 8、样本 (sample)：从总体中抽取的一部分元素的集合，构成样本的元素的数目称为样本容量或样本量 (sample size)。 9、变量(variable)：说明现象某种特征的概念，如商品销售额、性别等，变量的具体表现称为变量值，即数据。变量基本分类可分为分类变量：说明事物类别的名称；数值型变量：说明事物数字特征的名称。其他分类可分为随机变量与非随机变量；经验变量和理论变量。 10、平均数(mean)：是统计学中最常用的统计量，用来表明资料中各观测值相对集中较多的中心位置，易受极端值的影响，是反映数据集中趋势的一项指标。它包括算术平均数、加权算术平均数、调和平均数和几何平均数。 11、众数(mode)：是指一组数据中出现次数最多的变量值（数据值），不受极端值的影响，一组数据可能没有众数或有几个众数。众数适合于数据量较多时，并且在数据分布偏斜程度较大且有明显峰值时应用。 12、中位数(median)：是另外一种反映数据的中心位置的指标，其确定方法是将所有数据以由小到大的顺序排列，位于中央的数据值就是中位数，不受极端值的影响。中位数在数据分布偏斜程度较大时应用。 13、四分位数(quartile)：一组数据中，把所有数值由小到大排列并分成四等份，处于三个分割点位置的数据就是四分位数，不受极端值的影响。四分位数在统计学中的箱线图绘制方面应用较为广泛。 14、算术平均数(Arithmetic mean)简称平均数、均数或均值，是指在一组数据中所有数据之和再除以数据的个数。它是反映数据集中趋势的一项指标。算术平均数易受极端数据的影响，这是因为平均数反应灵敏，每个数据的或大或小的变化都会影响到最终结果。 15、加权平均数(Weighted mean)是不同比重数据的平均数，加权平均数就是把原始数据按
各种分布 泊松分布 Poisson分布，是一种统计与概率学里常见到的离散概率分布。 泊松分布的概率函数为： 泊松分布的参数λ是单位时间(或单位面积、单位体积)内随机事件的平均发生率。泊松分布适合于描述单位时间内随机事件发生的次数。 泊松分布的期望和方差均为 特征函数为： 泊松分布与二项分布 当二项分布的n很大而p很小时，泊松分布可作为二项分布的近似，其中λ为np。通常当n≧10,p≦0.1时，就可以用泊松公式近似得计算。 事实上，泊松分布正是由二项分布推导而来的。 泊松分布可作为二项分布的极限而得到。一般的说，若 ,其中n很大， p很小，因而不太大时，X的分布接近于泊松分布。这个事实有时可将较难计算的二项分布转化为泊松分布去计算。 应用示例 泊松分布适合于描述单位时间（或空间）内随机事件发生的次数。如某一服务设施在一定时间内到达的人数，电话交换机接到呼叫的次数，汽车站台的候客人数，某放射性物质发射出的粒子，机器出现的故障数，自然灾害发生的次数，一块产品上的缺陷数，显微镜下单位分区内的细菌分布数等等。 卡方分布 卡方分布( 分布)是概率论与统计学中常用的一种概率分布。n 个独立的标准
正态分布变量的平方和服从自由度为n 的卡方分布。卡方分布常用于假设检验和置信区间的计算。 若n个相互独立的随机变量ξ?、ξ?、……、ξn ，均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和构成 一新的随机变量，其分布规律称为卡方分布（chi-square distribution），即分布（chi-square distribution），其中参数n称为自由度。正如正态分布中均值或方差不同就是另一个正态分布一样，自由度不同就是另一个分布。记为或者。 卡方分布与正态分布 卡方分布是由正态分布构造而成的一个新的分布，当自由度n很大时，分布 近似为正态分布。对于任意正整数x，自由度为 k的卡方分布是一个随机变量X 的机率分布。 期望和方差 分布的均值为自由度n，记为E( ) = n。分布的方差为2倍的自由度(2n)，记为D( ) = 2n。 均匀分布 均匀分布（Uniform Distribution）是概率统计中的重要分布之一。 顾名思义，均匀，表示可能性相等的含义。 (1) 如果，则称X服从离散的均匀分布。 (2) 设连续型随机变量X的概率密度函数为，则称随机变
Excel常用函数分享
By 悠识
1
什么是Excel函数？
? Excel函数是一个公式。 一个可以预先定义、执行计算、分析等处理数据的特殊公 式。 ? 运用函数，我们可以：分析和处理日期值和时间值、查找 数据、确定单元格中的数据类型、计算平均值、排序显示 和运算文本数据等
2
新浪微博@悠识
如何用函数？
1.单元格编辑
2.公式下选择函数
3.单击“fx"按钮，打开函数列表框， 从中选择所需的函数；
3
新浪微博@悠识
函数参数常用符号及表示方法
u 函数公式中的文本必须在英文状态下，如：〝函数〞（英文状态下双 引号）;而非直接输入 函数或“函数” u 连接符: & 如：〝文〞& 〝本〞的值为 文本 u 空值/空格的表示法: 空值：〝〞 空格：〝 〞
u 相关数学符号:<>（不等于）;>=（大于等于）;<=（小于等于） u 单元格的相对引用B3，绝对引用$B$3，混合引用$B3，B$3.
4
新浪微博@悠识
CONTENTS
日期函数 查找引用函数 逻辑函数 数学统计函数 文本函数
5
新浪微博@悠识
日期函数 DAY
求出指定日期或 引用单元格中的 日期的天数 函数表达式 =DAY (返回一 个月中第几天的 数值） 日期 函数表达式 =DATE(year， month，day）
YEAR
求出指定日期或 引用单元格中的 日期的年份 函数表达式 =YEAR(返回日 期的年份）
MONTH
求出指定日期或 引用单元格中的 日期的月份 函数表达式 =MONTH(返回 月份值）
DATE
给出指定数值的
6
新浪微博@悠识
最全的大数据术语合集 大数据的出现带来了许多新的术语，但这些术语往往比较难以理解。因此，一亦在国外的一个网站上扒来了常用的大数据术语表，抛砖引玉，供大家深入了解。其中部分定义参考了相应的博客文章。当然，这份术语表并没有100%包含所有的术语。一个常见的大数据术语表大数据的出现带来了许多新的术语，但这些术语往往比较难以理解。因此，我们通过本文给出一个常用的大数据术语表，抛砖引玉，供大家深入了解。其中部分定义参考了相应的博客文章。当然，这份术语表并没有100%包含所有的术语，如果你认为有任何遗漏之处，请告之我们。 A 聚合(Aggregation) –搜索、合并、显示数据的过程 算法(Algorithms) –可以完成某种数据分析的数学公式 分析法(Analytics) –用于发现数据的内在涵义 异常检测(Anomaly detection) –在数据集中搜索与预期模式或行为不匹配的数据项。除了“Anomalies”,用来表示异常的词有以下几种：outliers, exceptions, surprises, contaminants.他们通常可提供关键的可执行信息 匿名化(Anonymization) –使数据匿名，即移除所有与个人隐私相关的数据 应用(Application) –实现某种特定功能的计算机软件 人工智能(Artificial Intelligence) –研发智能机器和智能软件，这些智能设备能够感知周遭的环境，并根据要求作出相应的反应，甚至能自我学习 B 行为分析法(Behavioural Analytics) –这种分析法是根据用户的行为如“怎么做”，“为什么这么做”，以及“做了什么”来得出结论，而不是仅仅针对人物和时间的一门分析学科，它着眼于数据中的人性化模式 大数据科学家(Big Data Scientist) –能够设计大数据算法使得大数据变得有用的人 大数据创业公司(Big data startup) –指研发最新大数据技术的新兴公司 生物测定术(Biometrics) –根据个人的特征进行身份识别 B字节(BB: Brontobytes) –约等于1000 YB(Yottabytes)，相当于未来数字化宇宙的大小。 1 B字节包含了27个0！ 商业智能(Business Intelligence) –是一系列理论、方法学和过程，使得数据更容易被理解 C 分类分析(Classification analysis) –从数据中获得重要的相关性信息的系统化过程; 这类数据也被称为元数据(meta data),是描述数据的数据 云计算(Cloud computing) –构建在网络上的分布式计算系统，数据是存储于机房外的（即云端） 聚类分析(Clustering analysis) –它是将相似的对象聚合在一起，每类相似的对象组合成一个聚类(也叫作簇)的过程。这种分析方法的目的在于分析数据间的差异和相似性 冷数据存储(Cold data storage) –在低功耗服务器上存储那些几乎不被使用的旧数据。但这些数据检索起来将会很耗时 对比分析(Comparative analysis) –在非常大的数据集中进行模式匹配时，进行一步步的对比和计算过程得到分析结果 复杂结构的数据(Complex structured data) –由两个或多个复杂而相互关联部分组成的数据，这类数据不能简单地由结构化查询语言或工具(SQL)解析
实验十四属性数据分析 一、实验目的 1．掌握属性数据分析方法。 2．掌握属性数据分析图表与原图形的组合。 二、实验准备 1．实验数据：本实验数据保存于文件夹Exercise-14中。 2．预备知识：属性分析的方法。 三、实验步骤与内容 1．数据准备 将实验数据复制，粘贴至各自文件夹内。 启动MAPGIS主程序。在主菜单界面中，点击参数按钮，在弹出的对话框中，设置工作目录最终指向Exercise-14（盘符依据各人具体情况设置）。 2．属性分析 执行如下命令：空间分析?空间分析?文件?装载区文件，加载要进行属性分析的数据文件。 Step1: 加载数据文件中所提供 的REGION.WP区文件执行如下命令：属性分析?单属性分类统计?立体饼图，选择属性分析类型。
Step2: 属性 Step4: 设置分类方 式为分段方 式 Step3: 选择分类属 性字段为小 麦，保留属 性字段为乡 名、水稻、 玉米 Step5: 确定，退出 设置 分类值域按图中所示输 入
分类统计结果图 3．保存文件 执行如下命令：文件?保存当前文件，换名保存属性分析所生成的图形文件，系统生成的表格文件（*.WB）不需要保存。 Step: 将缺省文件名改为“属性分析”，点 击保存按钮。按此方法依次将线、区 文件名均改为“属性分析” 4．文件组合 执行如下命令：图形处理?输入编辑?打开已有工程文件，打开所提供的Exercise-14.MPJ，在工程文件管理窗口，点击鼠标右键，选择“添加项目”选项，将前面生成的属性分析.WT、属性分析.WL、属性分析.WP添加进此工程文件。 关闭REGION.WP、POINT.WT、RIVER.WL和LINE.WL四个文件。 执行如下命令：其它?整块移动，调整属性分析.WT、属性分析.WL、属性分析.WP三个图形文件的位置，使与主图位置相适应。若此三个图形与主图相比过大的话，执行如下命令：其它?整图变换?键盘输入参数，来进行调整（注意应确定REGION.WP、POINT.WT、RIVER.WL和LINE.WL四个文件处于关闭状态）。 完成后，保存此工程文件。
?大数据术语 A ? 聚合(Aggregation) – 搜索、合并、显示数据的过程 ? 算法(Algorithms) – 可以完成某种数据分析的数学公式 ? 分析法(Analytics) – ?用于发现数据的内在涵义 ? 异常检测(Anomaly detection)–在数据集中搜索与预期模式或?行行为不不匹配的数据项。除了了“Anomalies”,?用来表示异常的词有以下?几种：outliers, exceptions, surprises, contaminants.他们通常可提供关键的可执?行行信息 ? 匿匿名化(Anonymization)–使数据匿匿名，即移除所有与个?人隐私相关的数据 ? 应?用(Application)–实现某种特定功能的计算机软件 ? ?人?工智能(Arti?cial Intelligence) – 研发智能机器?和智能软件，这些智能设备能够感知周遭的环境，并根据要求作出相应的反应，甚?至能?自我学习 B ? ?行行为分析法(Behavioural Analytics) – 这种分析法是根据?用户的?行行为如“怎么做”，“为什什么这么做”，以及“做了了什什么”来得出结论，?而不不是仅仅针对?人物和时间的?一?门分析学科，它着眼于数据中的?人性化模式 ? ?大数据科学家(Big Data Scientist) – 能够设计?大数据算法使得?大数据变得有?用的?人 ? ?大数据创业公司(Big data startup) – 指研发最新?大数据技术的新兴公司 ? ?生物测定术(Biometrics) – 根据个?人的特征进?行行身份识别 ? B字节 (BB: Brontobytes) – 约等于1000 YB(Yottabytes)，相当于未来数字化宇宙的?大?小。1 B字节包含了了27个0！ ? 商业智能(Business Intelligence) – 是?一系列列理理论、?方法学和过程，使得数据更更容易易被理理解 C
名词解释： 第一章 试验设计与数据处理：是以概率论、数理统计及线性代数为理论基础，研究如何有效的安排试验、科学的分析和处理试验结果的一门科学。 试验考察指标(experimental index)：依据试验目的而选定的衡量或考察试验效果的特征值. 试验因素；对特征值产生影响的原因或要素. 因素水平：试验实际考虑采用的（某一）因素变化的状态或条件的种类数称为因素水平，简称水平。 局部控制（local control）原则：控制隐藏变量对反应的效应。 重复（replication）原则：重复试验于许多试验单位，以降低结果的机会变异 随机化（randomization）原则：随机化(Randomization)安排试验单位接受指定的处理。实验的目标特性（实验考察指标）目标特性:就是考察和评价实验结果的指标。 定量指标：可以通过实验直接获得，便于计算和进行数据处理。 定性指标：不易确定具体的数值，为便于用数学方法进行分析和处理，必须是将其数字化后进行计算和处理。 因素：凡是能影响实验结果的条件或原因，统称为实验因素（简称为因素）。 水平:因素变化的各种状态和条件称为因素的水平 总体、个体：我们所研究对象的某特性值的全体，叫做总体，又叫母体；其中的每个单元叫做个体。 子样（样本）、样本容量：自总体中随机抽出的一组测量值，称为样本，又叫子样。样本中所含个体（测量值）的数目，叫做样本容量，即样本的大小。 抽样：从总体中随机抽取若干个个体观测其某种数量指标的取值过程称为抽样。 样本空间：就样本而言，一次抽取、观测的结果是n个具体数据x1，x2，…，xn，称为样本（X1，X2，…X n）的一个观测值，而样本观测值所有可能取值的全体称为样本空间。 重复性：由一个分析者，在一个给定的实验室中，用一套给定的仪器，在短时间内，对某物理量进行反复定量测量所得的结果。也称为室内精密度。 再现性;由不同的实验室的不同分析者和仪器，共同对一个物理量进行定量测量的结果。也称室间精密度。 误差：测量值和真值的差数 偏差：测量值和平均值的差数。也叫离差。 偏差平方和：测量值对平均值的偏差的平方的加和，叫偏差平方和。 方差(variance):是测量值在其总体均值周围分布状况的一种量度，方差表征随机变量分布的离散程度。 总体方差的定义是：测量值对总体均值的误差的平方的统计平均 样本方差：只作过有限次测量的样本方差，通常用s2表示。s2是测量值对样本均值的偏差的平方的平均 标准偏差(标准差)：方差的平方根的正值，叫标准偏差，或标准差 自由度：是指可以自由取值的数据的个数。 相对标准偏差(变异系数)(relative standard deviation, RSD):是样本标准偏差与平均值的比值，表示偏差值与平均值的相对大小。 第二章
大数据常见术语解释（1） 胡经国 大数据（B ig Data）是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据的出现产生了许多新术语，这些术语往往比较难以理解。为此，我们根据有关大数据文献编写了本文，供大家认识大数据参考。 1、聚合（Aggregation） 聚合是指搜索、合并、显示数据的过程。 2、算法（Algorithms） 算法是指可以完成某种数据分析的数学公式。 3、分析法（Analytics） 分析法用于发现数据的内在涵义。 4、异常检测（Anomaly Detection） 异常检测用于在数据集中搜索与预期模式或行为不匹配的数据项。除了“Anomalies”以外，用来表示“异常”的英文单词还有以下几个：outliers，exceptions，surprises，contaminants。它们通常可提供关键的可执行信息。 5、匿名化（Anonymization） 匿名化使数据匿名，即移除所有与个人隐私相关的数据。 6、应用（Application） 在这里，应用是指实现某种特定功能的计算机软件。 7、人工智能（Artificial Intelligence） 人工智能是指研发智能机器和智能软件；这些智能设备能够感知周围的环境，并根据要求作出相应的反应，甚至能自我学习。 8、行为分析法（Behavioural Analytics） 行为分析法是指根据用户的行为如“怎么做”，“为什么这么做”以及“做了什么”来得出结论，而不是仅仅针对人物和时间的一门分析学科。它着眼于数据中的人性化模式。
数据挖掘中客户的特征化及其划分(一) 摘要]良好客户关系已成为电子商务时代制胜的关键。在激烈的市场竞争中，客户关系管理逐渐成为企业关注的焦点。深入研究客户和潜在客户是在市场中保持竞争力的关键。本文通过对客户行为的特征化分析，以数据挖掘为分析工具，对客户关系管理进行了讨论，给出了相应的划分方法，使用这些划分方法，对客户进行分析是有意义的。 关键词]客户关系管理数据挖掘聚类分析 一、引言 在激烈的市场竞争中，客户关系管理(CustomerRelationshipManagement)逐渐成为各企业关注的焦点。一个成熟的CRM系统要能够有效地获取客户的各种信息，识别客户与企业间的关系及所有交互操作，寻找其中的规律，为客户提供个性化的服务，为企业决策提供支持。 在企业与客户的交互操作中，“二八原则”是值得借鉴的，即20%的客户对企业做出80%的利润贡献。但究竟谁是那20%的客户？又如何确定特定消费群体的消费习惯与消费倾向，进而推断出相应消费群体或个体下一步的消费行为？这都是企业需要认真研究的问题。 二、客户的特征化及其划分 企业认识客户和潜在客户是在市场保持竞争力的关键。特征分析是了解客户和潜在客户的极好方法，包括对感兴趣对象范围进行一般特征的度量。一旦知道带来最大利润客户的特征和行为，就可以直接将其应用到寻找潜在客户之中。有效寻找客户，认识哪些人群像自己的客户。因此，在争取客户的活动中，对感兴趣对象进行特征化及其划分是很有意义的。 对客户的特征化，顾名思义就是用数据来描述或给出客户（潜在客户）特征的活动。特征化可以在数据库（或数据库的不同部分）上进行。这些不同部分也称为划分，通常他们互不包含。 划分分析（SegmentationAnalysis）通常用于根据利润和市场潜力划分客户。如：零售商按客户在所有零售商店的总体购买行为，将客户划分为若干描述他们各自购买行为的区域，这样零售商可以评估哪些客户有最大利润。划分是把数据库分成互不相交部分或分区的活动。一般有两种方法：市场驱动法和数据驱动法。市场驱动法需要决定那些对业务有重要影响的特征，即需要预先选择一些特征变量（属性），以最终定义得到划分。数据驱动法是利用数据挖掘中的聚类技术或要素分析技术寻找同质群体。 三、数据挖掘的概念 数据挖掘(DataMining)是从大型数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息。通过数据挖掘提取的知识表示为概念、规则、规律、模式等，它对企业的趋势预测和行为决策提供支持。 1.分类分析 分类是指将数据映射到预先定义好的群组或类。分类要求基于数据属性值来定义类别，通过数据特征来描述类别。根据它与预先定义好的类别相似度，划分到某一类中去。分类的主要应用是导出数据的分类模型，然后使用模型预测。 2.聚类分析 聚类是对抽象样本集合分组的过程。与分类不同之处在于聚类操作要划分的类是事先未知。按照同一类中对象之间较高相似度原则进行划分，目的是使同一类别个体之间距离尽可能小，不同类别中个体间距离尽可能大。类的形成是由数据驱动的。 3.关联规则 关联规则是从大量的数据中挖掘出有价值的描述数据项之间相互关联的知识。关联规则中有两个重要概念：支持度（Support）和信任度(Confidence)。它们是两个度量有关规则的方法，描述了被挖掘出规则的有用性和确定性。关联规则挖掘，希望发现事务数据库中数据项之间的关联，这些规则往往能反映客户的购买行为模式。
分析中常用术语一： 1、FEA（有限元分析） 有时称为FEM（M含义方法）。Solidworks Simulation结构分析模块就使用这种方法，即通过将CAD模形分解为称为单元的小块，并最终统一地解决问题。单元，就是能够设置其物理属性、载荷以及约束的基本单位。 2、预处理 指在建立分析模型之前完成的工作。 这可以包括：创建几何模型；针对分析目的简化模型；设置材料属性；应用载荷、约束、联接以及接触；划分网格。这是问题的基本解决方案；如果做得不恰当，人们可以称这为“垃圾”输入。“垃圾”输入必将导致“垃圾”输出（在后处理阶段）即错误的前处理将导致错误的结果。 3、求解 把用户在预处理阶段设置的输入，交由求解器处理，并且计算出一个结果。这种解决方法通常非常准确，但是无论是否精确都将在后处理阶段得以验证。4、后处理 或者说，从求解器处查看或评估结果。有很多可行的办法来查看结果，例如云纹图，截面视图、探测、列表、以及曲线图表。经验和判断能够对结果的评价的合理性提供帮助，但我认为更是对这个问题“载荷所产生的位移或反作用是否真的能如预期的一样？”的解答。这样确定输出到底是好还是坏（垃圾输出），也就是说，是否需要回到预处理的步骤。如果要求精确的结果，更重要的一种方法就是提高网格的质量。在比较不同设计结构哪种更加合理时，精确结果通常是不需要的。 5、弹性模量 也称为杨氏模量。这是与材料应力相关的材料属性，标示了材料的拉伸度。能够通过在测试机器上拉伸材料样品获得典型值。也就是在拉伸状态下应力应变的线性比率。正因为应变是没有单位的，所以弹性模数与应力有相同的单位（psi,ksi,Pa,MPa），在到达屈服强度前弹性模量为常量。线性弹性的材料遵循胡克定律。 6、胡克定律 胡克弹性定律是一个近似值，它指出，在弹性限度内，物体的形变跟引起形变的外力成正比。适用胡克定律的材料，称为线性弹性材料，或胡氏材料。胡克定律在简单专业术语中表示应力应变关于为线性关系。（定义由Wikipedia处直接摘录。） 7、von Mises应力 也叫做等效（抗拉）应力。von Mises应力是一种试图全面描述在某一确定值下的多轴的应力状态的方法，这在云纹图上也能够很好的体现。但它也有缺陷：
大数据领域核心术语讲解 算法（Algorithm）：算法可以理解成一种数学公式或用于进行数据分析的统计学过程。那么，「算法」又是何以与大数据扯上关系的呢？要知道，尽管算法这个词是一个统称，但是在这个流行大数据分析的时代，算法也经常被提及且变得越发流行。 分析（Analytics）：让我们试想一个很可能发生的情况，你的信用卡公司给你发了封记录着你全年卡内资金转账情况的邮件，如果这个时候你拿着这张单子，开始认真研究你在食品、衣物、娱乐等方面消费情况的百分比会怎样？你正在进行分析工作，你在从你原始的数据（这些数据可以帮助你为来年自己的消费情况作出决定）中挖掘有用的信息。那么，如果你以类似的方法在电商平台上对人们所有的购买记录进行处理或者对论坛上对所有的发帖处理会如何呢？在这种情况下，我们就可以称之为大数据分析。所谓大数据分析，就是对大量数据进行推理并从中道出有用的信息。以下有三种不同类型的分析方法，现在我们来对它们分别进行梳理。 描述性分析法（Descriptive Analytics）：如果你只说出自己去年信用卡消费情况为：食品方面 25%、衣物方面 35%、娱乐方面 20%、剩下 20% 为杂项开支，那么这种分析方法被称为描述性分析法。当然，你也可以找出更多细节。 预测性分析法（P re d ictive Analytics）：如果你对过去 5 年信用卡消费的历史进行了分析，发现每年的消费情况基本上呈现一个连续变化的趋势，那么在这种情况下你就可以高概率预测出：来年的消费状态应该和以往是类似的。这不是说我们在预测未来，而是应该理解为，我们在「用概率预测」可能发生什么事情。在大数据的预测分析中，数据科学家可能会使用先进的技术，如机器学习，和先进的统计学处理方法（这部分后面我们会谈到）来预测天气情况、经济变化等等。 规范性分析（P rescriptive Analytics）：这里我们还是用信用卡转账的例子来理解。假如你想找出自己的哪类消费（如食品、娱乐、衣物等等）可以对整体消费产生巨大影响，那么基于预测性分析（P re d ictive Analytics）的规范性分析法通过引入「动态指标（action）」（如减少食品或衣物或娱乐）以及对由此产生的结果进行分析来规定一个可以降低你整体开销的最佳消费项。你可以将它延伸到大数据领域，并
第九章 列联分析 一、填空题 1、设R 为列联表的行数，C 为列联表的列数，则进行拟合优度检验时所用统计量2χ的自由度为 。 2、设0f 为列联表中观察值频数，e f 为期望值频数，则进行拟合优度检验时所用统计量2χ= 。 3、在列联分析中，观察值总数为n ，RT 为列联表中给定单元的行合计，CT 为给定单元列合计，则该给定单元频数期望值为 。 4、在列联分析中，观察值总数为500，列联表中给定单元的行合计数为140，列合计数为162，则该给定单元频数期望值为 。 5、在3×4列联分析中，统计量2 2 0()e e f f f χ-=∑（其中0f 为观测值频数，e f 为期望值频数）的自由度为____________。 6、对来自三个地区的原料质量进行检验时，先把它们分成三个等级，在随机抽取400间进行检验，经分析得知原料质量与地区之间的关系实现著的，现计算得2300χ=，则?相关系数等于 。 7、?相关系数是描述两个分类变量之间相关程度的统计量，它主要用于描述 的列联表数据。 8、若两个分类变量之间完全相关。则?相关系数的取值为 。 9、当列联表中两个变量相互独立时，计算的列联相关系数C= 。 10、利用2 χ分布进行独立性检验，要求样本容量必须足够大，特别是每个单元中的期望频数e f 不能过小，如果只有两个单元，则每个单元的期望频数必须 。 二、单项选择题 1、列联分析是利用列联表来研究（ ） A 、两个分类变量的关系 B 、两个数值型变量的关系 C 、一个分类变量和一个数值型变量的关系 D 、连个数值型变量的分布 2、设R 为列联表的行数，C 为列联表的列数，则进行拟合优度检验时所用统计量2χ的自由度为（ ） A 、R B 、 C C 、R ×C D 、（R-1）×（C-1） 3、若两个分类变量之间完全相关。则?相关系数的取值为（ ） A 、0 B 、小于1 C 、大于1 D 、1=? 4、当列联表中两个变量相互独立时，计算的列联相关系数C （ ） A 、等于1 B 、大于1 C 、等于0 D 、小于0 5、利用2χ分布进行独立性检验，要求样本容量必须足够大，特别是每个单元中的期望频数e f 不能过小，如果只有两个单元，则每个单元的期望频数必须（ ） A 、等于或大于1 B 、 C 值等于?值 C 、等于或大于5 D 、等于或大于10 6、一所大学准备采取一项学生上网收费的措施，为了解男女学生对这一措施的看法，分别抽取了150名男生和120名女生进行调查，得到结果如下： A 、48和39 B 、102和81 C 、15和14 D 、25和19 7、一所大学准备采取一项学生上网收费的措施，为了解男女学生对这一措施的看法，分别抽取了150名
常见的大数据术语表（中英文对照版） A 聚合（Aggregation） - 搜索、合并、显示数据的过程 算法（Algorithms） - 可以完成某种数据分析的数学公式 分析法（Analytics） - 用于发现数据的内在涵义 异常检测（Anomaly detection） - 在数据集中搜索与预期模式或行为不匹配的数据项。除了"Anomalies",用来表示异常的词有以下几种：outliers, exceptions, surprises, contaminants.他们通常可提供关键的可执行信息 匿名化（Anonymization） - 使数据匿名，即移除所有与个人隐私相关的数据 应用（Application） - 实现某种特定功能的计算机软件 人工智能（Artificial Intelligence） - 研发智能机器和智能软件，这些智能设备能够感知周遭的环境，并根据要求作出相应的反应，甚至能自我学习 B 行为分析法（Behavioural Analytics） - 这种分析法是根据用户的行为如"怎么做"，"为什么这么做"，以及"做了什么"来得出结论，而不是仅仅针对人物和时间的一门分析学科，它着眼于数据中的人性化模式 大数据科学家（Big Data Scientist） - 能够设计大数据算法使得大数据变得有用的人 大数据创业公司（Big data startup） - 指研发最新大数据技术的新兴公司 生物测定术（Biometrics） - 根据个人的特征进行身份识别 B字节（BB: Brontobytes） - 约等于1000 YB（Yottabytes），相当于未来数字化宇宙的大小。1 B字节包含了27个0！ 商业智能（Business Intelligence） - 是一系列理论、方法学和过程，使得数据更容易被理解
数据可视化的10个关键术语① Format 交互方式 交互式可视化允许您修改，操作和探索计算机显示的数据。绝大多数交互式可视化系统在计算机网络上，但越来越多出现在平板电脑和智能手机上。相比之下，静态可视化只显示单一的、非交互数据，它通常是为了打印和在屏幕上显示。 Chart type 图表类型 图表是数据视觉化表示的特殊方式。表示数据的方法有很多，如使用不同的符号、形状和排列，我们把这些称之为图表的类型。一些图表类型你比较熟悉，如条形图、饼图、折线图，但其他类型你可能就很少见了，如桑基图、树图、等值线图的地图。
Dataset 数据集合 数据集合是需要可视化处理的数据集合。你可以简单认为数据集合就是很多行和列的数据，这些数据通常在电子表格或数据库中。行代表一个记录，也就是一个事务的实例；列是变量，代表事务的具体信息。数据集合的大小、形式和关系是可以看到的，否则我们就很难观察。
Data source 数据源 当数据可视图的作者想告诉你展示的数据或信息的来源时，这些来源信息也会显示出来。通常会显示在标题附近或页面的底部。如果数据可视图有文章资料，你可以在文章中找到来源信息。
Axis 轴 许多类型的图表有轴。轴分为垂直的Y轴(向上或向下）和水平X轴(向左或向右)，目的是为阅读数值的高度或位置提供一个参考。轴的位置通常会有刻度(见下文)，刻度为阅读图标提供一个固定的参考点。
Scale 度量 度量表示数值的规模和范围。度量通常以间隔表示(10、20、30等等)，代表度数字的单位，如价格、距离、年，或百分比。
Legend 图例 许多图表使用不同的视觉样式来表示不同的数据，如颜色、形状或大小。一个图例或样例告诉你这些样式是什么意思，从而帮助你阅读图表。
属性数据分析复习题 一、 填空（每题4分，共20分） 1. 按数据取值分类，人的身高，性别，受教育程度分别属于计量数据，名义数据，有序数据 2. 度量定性数据离散程度的量有离异比率， G-S 指数，熵 3. 分类数据的检验方法主要有2χ检验和似然比检验 4. 二值逻辑斯蒂线性回归模型的一般形式是011ln 1k k p x x p βββ=+++- 5. 二维列联表的对数线性非饱和模型有 3 种 二、 案例分析题（每题20分，共60分） 1.P40习题二1，给出上分位数20.05(5)11.07χ= 0123456:0.3,0.2,0.2,0.1,0.1,0.1H p p p p p p ====== 220.0518.0567(5)11.07χχ=>=,落入拒绝域，故拒绝原假设，即认为这些数据与 消费者对糖果颜色的偏好分布不相符 2.P42表 3.1独立性检验，给出上分位数2 0.05(1) 3.84χ= 012:H p p =（即认为肺癌患者中吸烟比例与对照组中吸烟比例相等） 112:H p p ≠
未连续性修正的： 22 2 2112212210.051212()106(6011332)9.6636(1) 3.8463439214n n n n n n n n n χχ++++-?-?===>=??? 带连续性修正的： 22 11221221220.051212(||)106(|6011332|53)27.9327(1) 3.8463439214 n n n n n n n n n n χχ++++--?-?-===>=??? 均落入拒绝域，故拒绝原假设，即认为肺癌患者中吸烟比例与对照组中吸烟比例不等 3.P83表 4.3 独立性检验，给出上分位数2 0.05(2) 5.99χ= 0:ij i j H p p p ++=（即认为男性和女性对啤酒的偏好无显著性差异） 220.0590.685(2) 5.99χχ=>=，落入拒绝域，故拒绝原假设，即认为男性和女性对 啤酒的偏好有显著性差异 三、简答（每题10分） 1.谈谈你对p 值的认识 P 值是： 1) 一种概率，一种在原假设为真的前提下出现观察样本以及更极端情况的概率。 2) 拒绝原假设的最小显著性水平。 3) 观察到的(实例的)显著性水平。 4) 表示对原假设的支持程度，是用于确定是否应该拒绝原假设的另一种方法。 P 值（P value ）就是当原假设为真时所得到的样本观察结果或更极端结果出现的概率。如果P 值很小，说明原假设情况的发生的概率很小，而如果出现了，根据小概率原理，我们就有理由拒绝原假设，P 值越小，我们拒绝原假设的理由越充分。总之，P 值越小，表明结果越显著。 统计学根据显著性检验方法所得到的P 值，一般以P < 0.05 为显著， P<0.01 为非常显著 2.写出三维列联表各种独立性之间的关系