第2章 多元数据数学表达

第 2 章多元数据的描述与展示Characterizing and DisplayingMultivariate Data随机变量数值特征描述可视化随机向量多元数据的矩阵表示均值向量、协方差矩阵与相关系数矩阵多元散点图随机向量分割分块均值向量与协方差矩阵变量线性组合随机变量的线性组合随机变量数值特征描述可视化随机向量多元数据的矩阵表示均值向量、协方差矩阵与相关系数矩阵多元散点图随机向量分割分块均值向量与协方差矩阵变量线性组合随机变量的线性组合随机变量均值、方差与标准差随机变量 ：总体均值：总体方差：总体标准差：（独立同分布的）随机样本 ：样本均值：样本方差：样本标准差：随机变量协方差和相关系数二元随机变量 ：样本协方差：样本相关系数：随机样本 ：样本协方差：样本相关系数：随机变量协方差与独立性 和 是不相关/线性独立的如果 和 服从二元正态分布，那么 和 是独立的是在样本空间中，两个经过中心化的 维向量和 的夹角余弦不相关的变量对应的 维样本向量是正交的（orthogonal）目录随机变量数值特征描述可视化随机向量多元数据的矩阵表示均值向量、协方差矩阵与相关系数矩阵多元散点图随机向量分割分块均值向量与协方差矩阵变量线性组合随机变量的线性组合例：由20名男大学生构成的样本所提供的身高（单位：英寸）和体重（单位：磅）数据如下：目录随机变量数值特征描述可视化随机向量多元数据的矩阵表示均值向量、协方差矩阵与相关系数矩阵多元散点图随机向量分割分块均值向量与协方差矩阵变量线性组合随机变量的线性组合随机向量多元数据的结构随机向量通常来说，我们使用矩阵来表示多元数据集假设数据集是通过对 个样本/观测点（subjects/units/samples/observations）测量它们对应的 个变量所得到的，那么这个数据集就能够表示为 的数据矩阵：其中 由 的第 行构成，表示第 个样本多元数据的矩阵表示随机向量矩阵表示：鸢尾花数据集这里收集到150个鸢尾花样本：对于每个样本，这里测量了5个变量：第 朵鸢尾花的第 个变量测量值为：例： 的值是多少？它代表什么？目录随机变量数值特征描述可视化随机向量多元数据的矩阵表示均值向量、协方差矩阵与相关系数矩阵多元散点图随机向量分割分块均值向量与协方差矩阵变量线性组合随机变量的线性组合总体均值向量 (Mean vector)：对随机向量 ，样本均值向量：对随机样本 （其中 ），样本均值 是总体均值 的无偏估计，也即，其中随机向量的特征均值向量：鸢尾花数据集例如：鸢尾花数据中数值型变量的样本均值向量为：也就是说，总体协方差矩阵 (Covariance matrix)：对随机向量 来说， 的总体协方差矩阵 定义为：其中 是 和 之间的总体协方差， 是 的总体方差样本协方差矩阵：对随机样本 （其中 ）来说， 的样本协方差矩阵 定义为：其中 是该向量的第 和第 个变量之间的样本协方差， 是第 个变量的样本方差随机向量的特征和 是对称的，因为 和是 的无偏估计，也即的协方差矩阵是 协方差矩阵总体相关系数矩阵 (Correlation matrix)：其中 为 与 之间的总体相关系数样本相关系数矩阵：对随机样本 来说，其中 是第 和第 个变量之间的样本相关系数和 是对称的，因为 和相关系数矩阵可以由协方差矩阵得到，反之亦然. 比如，其中 的对角矩阵 定义为：验证 ：。

样本协方差的用途刻画整体离散性样本协方差矩阵还可用来刻画数据的整体离散性：1.广义样本方差（Generalized sample variance）：行列式2.总样本方差（Total sample variance）：一般来说，对 和 ，它们的值越大，表明 关于 越分散小贴士：如果 非常小，那么有可能是本身数据变化比较小，也有可能是存在共线性现象刻画了各变量维度的总和，但忽略了变量间的相关性在一元的情形中，如何定义两个点 和 之间的距离？1.两者作差的绝对值2.经过标准化的作差绝对值在多元的情形中，对于两个 维向量 和 之间的距离，我们也有两种测度方式1.欧氏距离（Euclidean distance）/ 范数：这个方式没有考虑到不同变量变化的尺度不同，以及变量之间的相关性2.统计距离/马氏距离（Statistical/Mahalanobis distance）：方差更大的变量对应了更小的权重，而且两个高度相关的变量对统计距离的贡献小于两个相关性相对较低的变量的贡献统计距离其实正是两个经过“变换”的向量 和 之间的欧氏距离统计距离里面的样本方差 起到两个作用：1.将所有变量标准化成相同方差2.消除相关性我们这里只用了前6行来展示：欧式距离/ 范数：统计距离/马氏距离：目录随机变量数值特征描述可视化随机向量多元数据的矩阵表示均值向量、协方差矩阵与相关系数矩阵多元散点图随机向量分割分块均值向量与协方差矩阵变量线性组合随机变量的线性组合多元散点图多元数据矩阵 可以通过下面两种散点图来表示：1.两两散点图矩阵 (Scatterplot matrix)：用以观察多元数据中数值变量两两之间的关系2.三维散点图多元散点图鸢尾花数据集>pairs(iris[,1:4],main=“Scatterplot Matrix for Fisher' s Iris Data”)多元散点图鸢尾花数据集三维散点图：注意：在R中，有很多方式生成三维散点图. 这里作为例子，我们采用“lattice”包中的“cloud”命令。

多元数据的数学表达实验报告总结这个多元数据的表达方法在这篇论文中是非常重要的，对我们理解有关的概念和方法都有很大的帮助。

我用了大量时间去研究和分析实验结果，并且完成了一些简单的实际应用：(1)用自己手头的样本估计全国人口，假设参与观察的人口为总人口的40%;(2)得到了全部人群参与统计工作的平均人数为10人/年;(3)从样本的平均值上减掉2%左右的标准误差后发现，假如样本小于20，则总体的统计推断误差会增加30%左右，而其他两组实验，误差都比较接近于0.05;(4)一旦使用了这种统计技术，那么就不能再依赖于样本的统计数字进行判断，因此需要更严格地选择参与调查的人群。

从前面的实验可以看出，多元数据在研究中占有极大的优势。

首先，它给予了人们新的视野——从几个维度来认识事物;第二，它拓展了人类思考问题的深度，把问题从多层次的复杂性归纳为简单、易懂的模型;最后，它使得人们能够利用抽象的技巧处理过于精细的信息，便于整合;由于人脑具有惊人的适应性，通过观察他人，可以获取各种资源，丰富自身的知识。

而这些将为社会科学家所用，探索出很多“社会规律”，造福广大民众。

然而这种高效率、低成本的方式却只存在于统计学之内。

多元数据研究的确立无疑扩宽了其应用领域。

对我们生活中的方方面面也带来了巨大影响。

虽然很多专业人士对多元数据抱着怀疑的态度，但是我相信随着越来越多数据库的建立和多元数据的普及化，这种情况终将被改变。

对于社会科学的发展而言，我想再没有什么能比数据的积累更加困难，需要花费更多的精力去挖掘真正意义上的有价值的东西，从中找寻问题产生的根源。

即使每天都在重复做着同样的工作，你还是要用新的眼光审视周围，向别人虚心求教。

或许，对这个世界最好的报答就是努力工作吧!从经济学的角度来说，多元数据主要是指数据种类的多元化，数据采集方式的多元化，数据处理技术的多元化，这是多元数据研究的基础。

在多元数据中，数据特征往往决定着研究者采用何种策略去提取数据。

第四章 多元数据图表示法图形有助于对所研究数据的直观了解，如果能把一些多元数据直接显示在平面图上，便可从图形一目了然地看出多元数据之间的关系，当只有一、二维数据时，可以使用通常的直角坐标系在平面上点图。

当有三维数据时，虽然可以在三维坐标系里点图，但已很不方便，而当维数大于3时，用通常的方法已不能点图。

但在许多实际问题中，多元数据的维数都大于3。

自20世纪70年代以来多元数据的图表示法一直是人们所关注的问题，人们想了不少办法，这些方法大体上分为两类：一类是使高维空间的点与平面上的某种图形对应，这种图形能反映高维数据的某些特点或数据间的某些关系；另一类是在尽可能多地保留原数据信息的原则下进行降维，若能使数据维数降至2或1，则可在平面上点图。

后者可用后面介绍的主成分法、因子分析法等去解决。

本章仅对前者介绍四种图表示法，更多的这类方法可在有关专著中找到。

设变量数为p ，观测次数为n ，第α次观测值记为n n x x x X ap a a a ,,,1,),,,(21 ='=α次观测数据组成的矩阵为p n ij x X ⨯=)(。

例 考察北京、上海、陕西、甘肃四个省市人均生活消费支出情况，选取以下五项指标，具体数据如下表（摘自1996年中国统计年鉴）：此例变量个数5=p ，观测次数4=n 。

§4.1 轮廓图作图步骤为：（1）作平面坐标系，横坐标取p 个点表示p 个变量。

（2）对给定的一次观测值，在p 个点上的纵坐标（即高度）和它对应的变量取值成正比。

（3）连接p 个高度的顶点得一折线，则一次观测值的轮廓为一条多角折线形。

n 次观测值可画出n 条折线，构成轮廓图。

下面画出四条折线为北京、上海、陕西、甘肃五项指标的数据即四个省市五项指标的轮廓。

由轮廓图可以看出：北京、上海的居民生活消费较高且相似。

陕西、甘肃生活消费较低且相似。

如果考察的样品较多，画折线时图形中可能出现重复点多，不便于区分哪个样品对应哪条折线，这时最好多用几种颜色或长短虚实等标志来画出折线。