测绘工程学院
GIS软件应用
实验报告书
实验名称：实验四、矢量数据与栅格数据分析2专业班级：
姓名：
学号：
实验地点：
实验时间：
实验成绩：
地理信息系
一、实验目的与要求
通过练习，熟悉ArcGIS栅格数据距离制图、成本距离加权、数据重分类、多层面合并等空间分析功能，熟练掌握利用ArcGIS上述空间分析功能分析和结果类似学校选址的实际应用问题的基本流程和操作过程。
练习一
1、新学校选址需注意如下几点：
1）新学校应位于地势较平坦处；
2）新学校的建立应结合现有土地利用类型综合考虑，选择成本不高的区域；
3）新学校应该与现有娱乐设施相配套，学校距离这些设施愈近愈好；
4）新学校应避开现有学校，合理分布。
2、各数据层权重比为：距离娱乐设施占0.5，距离学校占0.25，土地利用类型和地势位置因素各占0.125。
3、实现过程运用ArcGIS的扩展模块（Extension）中的空间分析（Spatial Analyst）部分功能，具体包括：坡度计算、直线距离制图功能、重分类及栅格计算器等功能完成。
4、最后必须给出适合新建学校的适宜地区图，并对其简要进行分析。
练习二
1、新建路径成本较少；
2、新建路径为较短路径；
3、新建路径的选择应该避开主干河流，以减少成本；
4、新建路径的成本数据计算时，考虑到河流成本（Reclass_river）是路径成本中较关键因素，先将坡度数据（reclass_slope）和起伏度数据（reclass_QFD）按照0.6：0.4权重合并，然后与河流成本作等权重的加和合并，公式描述如下：
cost = Reclass_river + ( reclass_slope*0.6+reclass_QFD*0.4)
5、寻找最短路径的实现需要运用ArcGIS的空间分析（Spatial Analyst）中距离制图中的成本路径及最短路径、表面分析中的坡度计算及起伏度计算、重分类及栅格计算器等功能完成；
6、最后提交寻找到的最短路径路线图。
练习三
1、熊猫活动具有一定的槽域范围，一个槽域范围只有一个或一对熊猫，在此练习中，假设熊猫槽域半径为5km。
2、虽然一个采样点代表一个熊猫，但由于熊猫的生存具有确定槽域特征，不同的采样点具有不同的空间控制面积。假定熊猫活动范围分布满足以采样点为中心的泰森多边形，如何将这一信息加入密度分布图是本练习的重点。
3、在野外实采的熊猫活动足迹数据的基础上，以每个熊猫槽域范围为权重，运用ArcGIS 中的区域分配功能制作该地区熊猫分布密度图。
练习四
1、经济的发展具有一定的连带效应和辐射作用。以该地区各区域年GDP数据为依据，
采用IDW和Spline内插方法创建该地区GDP空间分异栅格图。
2、分析每种插值方法中主要参数的变化对内插结果的影响。
3、分析两种内插方法生成的GDP空间分布图的差异性，简单说明形成差异的主要原因。
4、通过该练习，熟练掌握两种插值方法的适用条件。
练习五
1、应用栅格数据空间分析模块中的等高线提取功能，分别提取等高距为15米和75米的等高线图，并按标准地形图绘制等高线方法绘制等高线,作为山顶点、凹陷点空间分布的
背景图；
2、通过邻域分析和栅格计算器提取山顶点、凹陷点。
二、实验准备
练习一：实验数据及实现流程图
1、Landuse（土地利用图）
2、dem（地面高程图）
3、rec_sites（娱乐场所分布图）
4、school（现有学校分布图）
土地利用图高程图娱乐场所分布图学校分布图
练习二：实验数据及实现流程图
1、dem(高程数据)
2、startPot (路径源点数据)
3、endPot (路径终点数据)
4、river (小流域数据)
计算坡度距离娱乐场所距离学校
准
备
数
据
派
生
数
据
重
分
类
0.125 0.125 0.5 0.25
权
重
最
终
结
果
小流域分布图高程图高程图
练习三：实验数据
野外实采的熊猫活动足迹数据，一个足迹代表一个熊猫曾在此处活动过，相同足迹只记载一次，数据存放于随书光盘的..\Chp8\Ex3\目录中。。
计算坡度计算起伏度
数
据
准
备
派
生
数
据
重
分
类
权重分配+ 0.6 0.4
成本数据
计算距离方向
结果
练习四：实验数据
某地区的统计GDP数据，数据范围：4601万～132630万元。数据存放于随书光盘的..\Chp8\Ex4\目录中。
练习五：实验数据
黄土丘陵地区1:10000DEM数据。数据存放于随书光盘的..\Chp8\Ex5\目录中。
三、实验内容与主要过程
练习一
1、运行ArcMap，加载Spatial Analyst模块，如果Spatial Analyst模块未能激活，点击【自定义】|【扩展模块】，选择Spatial Analyst，点击【关闭】按钮。
2、加载地图文档对话框，选择E:\Chp8\Ex1\school.mxd。
3、设置空间分析环境。点击【地理处理】|【环境】，打开环境设置对话框设置相关参数：
(1) 展开【工作空间】，设置默认工作路径为：“F:\EX1\result”。
(2) 展开【处理范围】，在范围下拉框中选择“与图层 landuse相同”。
(3) 展开【栅格分析】，在像元大小下拉框中选择“与图层 landuse相同”，如图1-1所示。
图1-1
4、从DEM数据提取坡度数据集。选择DEM数据层，点击Spatial Analyst模块的下拉箭头，选择【表面分析】并点击【坡度】，生成【坡度】数据集，如图1-2所示。
图1-2
5、从娱乐场所数据“Rec_sites”提取娱乐场直线距离数据。选择Rec_sites数据层，点击Spatial Analyst模块的下拉箭头，选择【距离分析】并点击【欧式距离】，生成dis_recsites数据集，如图1-3所示。
图1-3
6、从现有学校位置数据“School”提取学校直线距离数据库。选择School数据层，点击Sptial Analyst模块的下拉箭头，选择【距离分析】并点击【欧式距离】，创建数据集，得到dis_School数据集，如图1-4所示。
图1-4
7、重分类数据集
(1) 重分类坡度数据集
学校的位置在平坦地区比较有利，比较陡的地方适宜性比较差。采用等间距分级分为10级，在平坦的地方适宜性好，赋以较大的适宜性值；陡峭的地区赋比较小的值，得到坡度适宜性数据recalssslope，如图1-5所示。
图1-5
(2) 重分类娱乐场直线距离数据集
考虑到新学校距离娱乐场所比较近时适宜性好，采用等间距分级分为10级，距离娱乐场所最近适宜性最高，赋值10；距离最远的地方赋值1。得到娱乐场所适宜性图reclassdisr，如图1-6所示。
图1-6
(3) 重分类现有学校直线距离数据集
考虑到新学校距离现有学校比较远时适宜性好，采用分级分为10级，距离学校最远的单元赋值10，距离最近的单元赋值1。得到重分类学校距离图reclassdiss，如图1-7所示。
图1-7
(4) 重分类土地利用数据
在考察土地利用数据时，容易发现各种土地利用类型对学校适宜性也存在一定的影响。如在有湿地、水体分布区建学校的适宜性极差，于是在重分类时删除这两个选项，实现如下：按Ctrl键，选择“water”、“wetland”、“grass”，点击“delete entries”。删除“water”、“wetland”、“grass”。然后根据用地类型给各种类型赋值，得到reclassland，深色部分为比较适宜区，浅色部分表示适宜性比较差，白色表示该处不允许建学校，如图1-8所示。
图1-8
8、适宜区分析
重分类后，各个数据集都统一到相同的等级体系之内，且每个数据集中那些被认为比较适宜性的属性都被赋以比较高的值，现在开始给四种因素赋以不同的权重，然后合并数据集以找出最适宜的位置。
点击Spatial Analyst下拉列表框中的【地图代数】|【栅格计算器】命令对各个重分类后数据集的合并计算，最终适宜性数据集的加权计算公式为：
Suit(最终适宜性）= reclassdisr（娱乐场所）* 0.5 + reclassdiss（现有学校）* 0.25 + reclassland（土地利用数据）* 0.125 + reclassslope（坡度数据）* 0.125 得到最终适宜性数据集，适宜性较高区域（深色部分）为推荐学校选址区域，如图1-9所示。
图1-9
练习二
1、运行ArcMap，加载Spatial Analyst模块，如果Spatial Analyst模块未能激活，点击【自定义】|【扩展模块】，选择Spatial Analyst，点击【关闭】按钮。
2、打开加载地图文档对话框，选择E:\Chp8\Ex2\road.mxd。
3、设置空间分析环境。点击【地理处理】|【环境】，打开环境设置对话框设置相关参数：
(1) 展开【工作空间】，设置默认工作路径为：“F:\EX2\result”。
(2) 展开【处理范围】，在范围下拉框中选择“与图层den相同”。
(3) 展开【栅格分析】，在像元大小下拉框中选择“与图层dem相同”，如图2-1所示。
图2-1
4、创建成本数据集
考虑到山地坡度、起伏度对修建公路的成本影响比较大，其中尤其山地坡度更是人们
首先关注的对象，则在创建成本数据集时，可考虑分配其权重比为：0.6：0.4。但是在有流域分布的情况下，河流对成本影响不可低估。在此情形下，成本数据集考虑为合并山地坡度和起伏度之后的成本，加上河流对成本之影响即可。
(1) 坡度成本数据集
选择DEM数据层，点击Spatial Analyst下拉列表框，选择【表面分析】并点击【坡度】，生成【坡度】数据集。
选择Slope数据层，点击Spatial Analyst下拉键头，选择【重分类】命令实施重分类。对坡度数据集实施重分类的基本原则是：采用等间距分为10级，坡度最小一级赋值为1，最大一级赋值为10 ，得到坡度成本数据（reclass_slope），如图2-2所示。
图2-2
(2) 起伏度成本数据集
选择DEM数据层，点击Spatial Analyst下拉列表框，选择【领域分析】|【焦点统计】，设置参数，点击【确定】按钮，生成起伏度数据层，记为QFD。
选择QFD数据层，点击Spatial Analyst下拉键头，选择【重分类】命令，按10级等间距实施重分类，地形越起伏，级数赋值越高，即最小一级赋值为1，最大一级赋值为10 ，得到地形起伏成本数据（reclass_QFD1），如图2-3所示
图2-3
(3) 河流成本数据集
选择River数据层，点击Spatial Analyst下拉键头，选择【重分类】命令，按照河流等级如下进行分类，：4级为10；如此依次为8，5，2，1，生成河流成本（reclass_river）。如图2-4所示。
图2-4
5、加权合并单因素成本数据，生成最终成本数据集。
点击Spatial Analyst下拉列表框中的【地图代数】|【栅格计算器】命令对各个重分类后数据集的合并计算，计算公式为：
cost = reclass_river（重分类流域数据）+ ( reclass_slope（重分类坡度数据）*0.6 + reclass_rough（重分类起伏度数据）* 0.4)
得到最终成本数据集（cost），其中深色表示成本高的部分。如图2-5所示。
图2-5
6、计算成本权重距离函数
点击Spatial Analys模块t下拉键头，选择【距离分析】中的【成本距离】。设置参数点击【确定】按钮。生成成本距离图，其中浅色为源点；生成回溯链接数据图，尖点为源点。如图2-6所示
图2-6
7、求取最短路径
点击Spatial Analyst下拉框，选择【距离分析】中的【成本路径】，设置参数点击【确定】按钮，生成最终的最短路径图（如图2-7，其中黑色粗线部分为确定的路径）。
图2-7
练习三
1、运行ArcMap，加载Spatial Analyst模块，如果Spatial Analyst模块未能激活，点击【自定义】|【扩展模块】，选择Spatial Analyst，点击【关闭】按钮。
2、设置空间分析环境。点击【地理处理】|【环境】，打开环境设置对话框设置相关参数：
3、加载数据对话框，选择数据。
4、选择熊猫活动足迹图层，单击【Spatial Analys】|【距离分析】单击【欧式分配】
设置参数，输出文件记为FP。单击【确定】生成熊猫槽域范围图。如图3-1：
练习四
1、运行ArcMap，加载Spatial Analyst模块，如果Spatial Analyst模块未能激活，点击【自定义】|【扩展模块】，选择Spatial Analyst，点击【关闭】按钮。
练习五
1、运行ArcMap，加载Spatial Analyst模块，如果Spatial Analyst模块未能激活，点击【自定义】|【扩展模块】，选择Spatial Analyst，点击【关闭】按钮。
四、实验心得
数据分析实验报告 文稿归稿存档编号：[KKUY-KKIO69-OTM243-OLUI129-G00I-FDQS58-
第一次试验报告 习题1.3 1建立数据集，定义变量并输入数据并保存。 2数据的描述，包括求均值、方差、中位数等统计量。 分析—描述统计—频率，选择如下： 输出： 统计量 全国居民 农村居民 城镇居民 N 有效 22 22 22 缺失 均值 1116.82 747.86 2336.41 中值 727.50 530.50 1499.50 方差 1031026.918 399673.838 4536136.444 百分位数 25 304.25 239.75 596.25 50 727.50 530.50 1499.50 75 1893.50 1197.00 4136.75 3画直方图，茎叶图，QQ 图。（全国居民） 分析—描述统计—探索，选择如下： 输出： 全国居民 Stem-and-Leaf Plot Frequency Stem & Leaf 5.00 0 . 56788 数据分析实验报告 【最新资料，WORD 文档，可编辑修改】
2.00 1 . 03 1.00 1 . 7 1.00 2 . 3 3.00 2 . 689 1.00 3 . 1 Stem width: 1000 Each leaf: 1 case(s) 分析—描述统计—QQ图，选择如下： 输出： 习题1.1 4数据正态性的检验：K—S检验，W检验数据： 取显着性水平为0.05 分析—描述统计—探索，选择如下：（1）K—S检验
结果：p=0.735 大于0.05 接受原假设，即数据来自正太总体。 （2 ）W 检验 结果：在Shapiro-Wilk 检验结果972.00 w ，p=0.174大于0.05 接受原假设，即数据来自正太总体。 习题1.5 5 多维正态数据的统计量 数据：
社会科学研究数据分析与仿真实验室软件建设方案 基于政策方针的研究路径，针对数据收集、数据分析（规则提取）和仿真建模等三个主要阶段，为了满足政策方针各研究步骤的软件工具需要，政策分析实验室软件建设大致可以分为下列几大部分： 1.数据采集（合计58.2万元）PASW Data Collection25用户授权58.2万元 软件简介：Data Collection 是SPSS公司和IBM合并后的一款支持调查研究的软件平台，详见附件“PASW Data Collection产品介绍”。 2.数据分析（合计74.8万元）（1）统计分析软件（三大统计软件的介绍从略）（合计36.4万元）SAS EM模块学科带头人版本 3.3万元注：人大已经购买了SAS22模块版本，本次可以购买数据挖掘模块（EM模块）予以补充完善。 SPSS20用户授权10.8万元 SPSS CLEMENTINE20用户授权10.8万元注：这一软件是SPSS的数据挖掘模块STATA20用户授权11.5万元 （2）博弈分析软件（合计38.4万元）GAMS10用户授权18.6万元注：数学规划与优化高级建模软件（博弈分析软件），详见“百度百科”。 Xpress10用户授权19.8万元注：这一软件同样是一款博弈分析的软件，案例介绍中有供水管理的例子可供“水项目”参考（优化实例文件第15章），具体软件介绍和 实例详见附件。 3.仿真（合计81.6万元）（1）通用仿真软件 Anylogic1个用户专业版授权19万注：该软件仿真功能强大，为政策分析实验室核心2个用户专业版授权27万软件，每个专业版授权可获赠10个教育版授 3个用户专业版授权39万权，详见附件。 （2）领域仿真软件 Enterprise Dynamics (ED) 基本包（生产仓储仿真）+物流网络规划模块10用户授权7万元 基本包（生产仓储仿真）+应急疏散模块10用户授权7万元 基本包（生产仓储仿真）+机场解决方案模块10用户授权15万元 注：软件介绍详见附件 Autotrack 1用户授权9.6万元注：交通基础设施仿真软件，详见附件。 4.其他（合计43万元）Decision Tools 10用户授权31万元注：风险分析模拟软件，详见附件。 Risk Simulation 1用户授权6万元注：风险分析模拟软件，详见附件。 Vanguard System 1用户授权6万元注：风险分析模拟软件，详见附件。
物联网大数据分析实验室建设方案 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。章鱼大数据为积极应对“互联网+”和大数据时代的机遇和挑战，适应经济社会发展与改革要求，开发建设物联网大数据平台。 物联网大数据平台打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、物联网行业现状 数字传感器的大量应用及移动设备的大面积普及，才会导致全球数字信息总量的极速增长。根据工信部的统计结果，中国物联网产业规模在2011年已经超过2300亿元，虽然和期望的“万亿规模产业”还有一定距离，但已经不可小视。其中传感器设备市场规模超过900亿元，RFID产业规模190亿元，M2M终端数量也已超过2100万个。另一个方面，我国的物联网企业也呈现出聚集效应，例如北京中关村
已有物联网相关企业600余家，无锡国家示范区有608家，重庆、西安等城市也有近300家。从区域发展来看，形成了环渤海、长三角、珠三角等核心区以及中西部地区的特色产业集群。 在2009年以前，可能没有哪家企业说自己是物联网企业。一夜之间产生的上千家物联网企业，他们的核心能力、产品或服务价值定位、目标客户和盈利模式都是如何呢？首先来看这些物联网企业从哪里来。现在的物联网企业主要分为三类，第一类是以前的公用企业转型，最典型的是电信运营商，他们有自己的基础设施，有客户资源，因此自然转型到物联网行业。除了电信运营商，一些交通基础设施运营商、甚至是气象设施运营商，也都转型为物联网企业。第二类是传统IT企业，例如华为、神州数码，以及众多上市公司等。这一类公司也是在传统的优势积累基础上开拓物联网新业务。第三类是一些制造企业，包括传感设备制造企业，网络核心设备制造企业，还包括如家电等一批传统制造企业。这一类企业不能说没有大企业，但是绝大多数都是中小型企业。这些企业的核心能力主要体现在三个方面，第一是传感器和智能仪表，第二是嵌入式系统和智能装备，第三是软件与集成服务。 再来看我国物联网应用的领域。通过对多个部委和地区的物联网专项进行汇总，下图列出了目前提到最多，也是应用最成熟的八个领域。但是换个角度再看，不管是工业控制、供应链管理、精准农业，还是建筑自动化、远程抄表、ETC，其实都并不是新的技术领域，而是在物联网这个大概念下重新包装后再次引起了人们的兴趣。总的来
第二章 实验数据误差分析和数据处理 第一节 实验数据的误差分析 由于实验方法和实验设备的不完善，周围环境的影响，以及人的观察力，测量程序等限制，实验观测值和真值之间，总是存在一定的差异。人们常用绝对误差、相对误差或有效数字来说明一个近似值的准确程度。为了评定实验数据的精确性或误差，认清误差的来源及其影响，需要对实验的误差进行分析和讨论。由此可以判定哪些因素是影响实验精确度的主要方面，从而在以后实验中，进一步改进实验方案，缩小实验观测值和真值之间的差值，提高实验的精确性。 一、误差的基本概念 测量是人类认识事物本质所不可缺少的手段。通过测量和实验能使人们对事物获得定量的概念和发现事物的规律性。科学上很多新的发现和突破都是以实验测量为基础的。测量就是用实验的方法，将被测物理量与所选用作为标准的同类量进行比较，从而确定它的大小。 1.真值与平均值 真值是待测物理量客观存在的确定值，也称理论值或定义值。通常真值是无法测得的。若在实验中，测量的次数无限多时，根据误差的分布定律，正负误差的出现几率相等。再经过细致地消除系统误差，将测量值加以平均，可以获得非常接近于真值的数值。但是实际上实验测量的次数总是有限的。用有限测量值求得的平均值只能是近似真值，常用的平均值有下列几种: (1) 算术平均值 算术平均值是最常见的一种平均值。 设1x 、2x 、……、n x 为各次测量值，n 代表测量次数，则算术平均值为 n x n x x x x n i i n ∑==+???++=121 (2-1) (2) 几何平均值 几何平均值是将一组n 个测量值连乘并开n 次方求得的平均值。即 n n x x x x ????=21几 (2-2) （3）均方根平均值 n x n x x x x n i i n ∑==+???++= 1 222221均 (2-3) (4) 对数平均值 在化学反应、热量和质量传递中，其分布曲线多具有对数的特性，在这种情况下表征平均值常用对数平均值。 设两个量1x 、2x ，其对数平均值
目录 1实验主题 (1) 2实验目的 (1) 3实验性质 (1) 4实验考核方法 (1) 5实验报告提交日期与方式 (1) 6实验平台 (1) 7实验内容和要求 (1) 8实验指导 (2) 8.2 开启Hadoop所有守护进程 (2) 8.2 搭建Eclipse环境编程实现Wordcount程序 (3) 1.安装Eclipse (3) 2.配置Hadoop-Eclipse-Plugin (3) 3.在Eclipse 中操作HDFS 中的文件 (7) 4.在Eclipse 中创建MapReduce 项目 (8) 5.通过Eclipse 运行MapReduce (13) 6.在Eclipse 中运行MapReduce 程序会遇到的问题 (16)
1实验主题 1、搭建Hadoop、Eclipse编程环境 2、在Eclipse中操作HDFS 3、在Eclipse中运行Wordcount程序 4、参照Wordcount程序，自己编程实现数据去重程序 2实验目的 （1）理解Hadoop、Eclipse编程流程； （2）理解MapReduce架构，以及分布式编程思想； 3实验性质 实验上机内容，必做，作为课堂平时成绩。 4实验考核方法 提交上机实验报告，纸质版。 要求实验报告内容结构清晰、图文并茂。 同学之间实验报告不得相互抄袭。 5实验报告提交日期与方式 要求提交打印版，4月19日（第10周）之前交到软件学院412。 6实验平台 操作系统：Linux Hadoop版本：2.6.0或以上版本 JDK版本：1.6或以上版本 Java IDE：Eclipse 7实验内容和要求 （1）搭建Hadoop、Eclipse编程环境； （2）运行实验指导上提供的Wordcount程序； （3）在Eclipse上面查看HDFS文件目录； （4）在Eclipse上面查看Wordcount程序运行结果； （5）熟悉Hadoop、Eclipse编程流程及思想； 程序设计题，编程实现基于Hadoop的数据去重程序，具体要求如下： 把data1文件和data2文件中相同的数据删除，并输出没有重复的数据，自己动手实现，把代码贴到实验报告的附录里。 设计思路： 数据去重实例的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。具体就是Reduce的输入应该以数据作为Key，而对value-list则没有要求。当Reduce 接收到一个
《数据分析》实验报告 班级：07信计0班学号：姓名：实验日期2010-3-11 实验地点：实验楼505 实验名称：样本数据的特征分析使用软件名称：MATLAB 实验目的1.熟练掌握利用Matlab软件计算均值、方差、协方差、相关系数、标准差与变异系数、偏度与峰度，中位数、分位数、三均值、四分位极差与极差； 2.熟练掌握jbtest与lillietest关于一元数据的正态性检验； 3.掌握统计作图方法； 4.掌握多元数据的数字特征与相关矩阵的处理方法； 实验内容安徽省1990-2004年万元工业GDP废气排放量、废水排放量、固体废物排放量以及用于污染治理的投入经费比重见表6.1.1，解决以下问题：表6.1.1废气、废水、固体废物排放量及污染治理的投入经费占GDP比重 年份 万元工业GDP 废气排放量 万元工业GDP 固体物排放量 万元工业GDP废 水排放量 环境污染治理投 资占GDP比重 （立方米）（千克）（吨）（%）1990 104254.40 519.48 441.65 0.18 1991 94415.00 476.97 398.19 0.26 1992 89317.41 119.45 332.14 0.23 1993 63012.42 67.93 203.91 0.20 1994 45435.04 7.86 128.20 0.17 1995 46383.42 12.45 113.39 0.22 1996 39874.19 13.24 87.12 0.15 1997 38412.85 37.97 76.98 0.21 1998 35270.79 45.36 59.68 0.11 1999 35200.76 34.93 60.82 0.15 2000 35848.97 1.82 57.35 0.19 2001 40348.43 1.17 53.06 0.11 2002 40392.96 0.16 50.96 0.12 2003 37237.13 0.05 43.94 0.15 2004 34176.27 0.06 36.90 0.13 1.计算各指标的均值、方差、标准差、变异系数以及相关系数矩阵； 2.计算各指标的偏度、峰度、三均值以及极差； 3.做出各指标数据直方图并检验该数据是否服从正态分布？若不服从正态分布，利用boxcox变换以后给出该数据的密度函数； 4.上网查找1990-2004江苏省万元工业GDP废气排放量，安徽省与江苏省是 否服从同样的分布？
第一章实验数据误差分析与数据处理 第一节实验数据误差分析 一、概述 由于实验方法和实验设备的不完善，周围环境的影响，以及人的观察力，测量程序等限制，实验测量值和真值之间，总是存在一定的差异，在数值上即表现为误差。为了提高实验的精度，缩小实验观测值和真值之间的差值，需要对实验数据误差进行分析和讨论。 实验数据误差分析并不是即成事实的消极措施，而是给研究人员提供参与科学实验的积极武器，通过误差分析，可以认清误差的来源及影响，使我们有可能预先确定导致实验总误差的最大组成因素，并设法排除数据中所包含的无效成分，进一步改进实验方案。实验误差分析也提醒我们注意主要误差来源，精心操作，使研究的准确度得以提高。 二、实验误差的来源 实验误差从总体上讲有实验装置（包括标准器具、仪器仪表等）、实验方法、实验环境、实验人员和被测量五个来源。 1.实验装置误差 测量装置是标准器具、仪器仪表和辅助设备的总体。实验装置误差是指由测量装置产生的测量误差。它来源于： （1）标准器具误差 标准器具是指用以复现量值的计量器具。由于加工的限制，标准器复现的量值单位是有误差的。例如，标准刻线米尺的0刻线和1 000 mm刻线之间的实际长度与1 000 mm单位是有差异的。又如，标称值为 1kg的砝码的实际质量（真值）并不等于1kg等等。 （2）仪器仪表误差 凡是用于被测量和复现计量单位的标准量进行比较的设备，称为仪器或仪表．它们将被测量转换成可直接观察的指示值。例如，温度计、电流表、压力表、干涉仪、天平，等等。 由于仪器仪表在加工、装配和调试中，不可避免地存在误差，以致仪器仪表的指示值不等于被测量的真值，造成测量误差。例如，天平的两臂不可能加工、调整到绝对相等，称量时，按天平工作原理，天平平衡被认为两边的质量相等。但是，由于天平的不等臂，虽然天平达到平衡，但两边的质量并不等，即造成测量误差。 （3）附件误差 为测量创造必要条件或使测量方便地进行而采用的各种辅助设备或附件，均属测量附件。如电测量中的转换开关及移动测点、电源、热源和连接导线等均为测量附件，且均产生测量误差。又如，热工计量用的水槽，作为温度测量附件，提供测量水银温度计所需要的温场，由于水槽内各处温度的不均匀，便引起测量误差，等等。 按装置误差具体形成原因，可分为结构性的装置误差、调整性的装置误差和变化性的装置误差。结构性的装置误差如：天平的不等臂，线纹尺刻线不均匀，量块工作面的不平行性，光学零件的光学性能缺陷，等等。这些误差大部分是由于制造工艺不完善和长期使用磨损引起的。调整性的装置误差如投影仪物镜放大倍数调整不准确，水平仪的零位调整不准确，千分尺的零位调整不准确，等等。这些误差是由于仪器仪表在使用时，未调整到理想状态引起的。变化性的装置误差如：激光波长的长期不稳定性，电阻等元器件的老化，晶体振荡器频率的长期漂移，等等。这些误差是由于仪器仪表随时间的不稳定性和随空间位置变化的不均匀性造成的。 2.环境误差 环境误差系指测量中由于各种环境因素造成的测量误差。 被测量在不同的环境中测量，其结果是不同的。这一客观事实说明，环境对测量是有影响的，是测量的误差来源之一。环境造成测量误差的主要原因是测量装置包括标准器具、仪器仪表、测量附件同被测对象随着环境的变化而变化着。 测量环境除了偏离标准环境产生测量误差以外，从而引起测量环境微观变化的测量误差。 3.方法误差
实验8-1 数据分析 一、实验目的 1.理解数据挖掘的一般流程。 2.掌握数据探索和预处理的方法。 3.使用PHSTAT软件，结合Excel对给定的数据进行手工预处理。 4.使用WEKA软件，对给定的数据进行预处理。 二、实验容 在D盘中以“班级-学号-”命名一个文件夹，将下发的数据拷贝到该文件夹下，根据不同要求，对下发的文件进行相应的数据分析和处理。 0. 数据集介绍 银行资产评估数据bank-data.xlsx，数据里有12个属性，分别是id（编号）, age（年龄）, sex（性别）, region（地区）, income（收入）,married（婚否）, children（子女数）, car（是否有私家车）, save_act（是否有定期存款）, current_act （是否有活期账户）, mortgage（是否有资产抵押）, pep（目标变量，是否买个人理财计划Personal Equity Plan）。 1．数据探索之数据质量分析 新建“1-数据质量分析.xlsx”文件，导入“0-bank_data.xlsx”文件数据，请你用EXCEL对其进行数据质量分析。 【要求】
（1）请找出bank_data.xlsx表中的含有缺失值的记录。 （2）请你用PHSTAT软件绘制“income（收入）”属性的箱线图和点比例图，筛选出异常值。 （3）计算Whisker上限、Whisker下限，并利用高级筛选，找出该属性的异常值记录。 【提示】 （1）请找出bank_data.xlsx表中的含有缺失值的记录。 方法1：条件格式法 1）选取A1：L601区域。 2）开始--> 条件格式--> 新建规则（N）...，在"新建格式规则"对话框中，选择空值。如图8-1所示。 图8-1 “新建格式规则”对话框 3）点击“格式(F)…”按钮，设置特殊格式，高亮显示。如图8-2所示。
数据分析实验报告 【最新资料，WORD文档，可编辑修改】 第一次试验报告 习题1.3 1建立数据集，定义变量并输入数据并保存。 2数据的描述，包括求均值、方差、中位数等统计量。 分析—描述统计—频率，选择如下： 输出：
方差1031026.918399673.8384536136.444百分位数25304.25239.75596.25 50727.50530.501499.50 751893.501197.004136.75 3画直方图，茎叶图，QQ图。（全国居民） 分析—描述统计—探索，选择如下： 输出： 全国居民Stem-and-Leaf Plot Frequency Stem & Leaf 9.00 0 . 122223344 5.00 0 . 56788 2.00 1 . 03 1.00 1 . 7 1.00 2 . 3 3.00 2 . 689
1.00 3 . 1 Stem width: 1000 Each leaf: 1 case(s) 分析—描述统计—QQ图，选择如下： 输出： 习题1.1 4数据正态性的检验：K—S检验，W检验数据： 取显着性水平为0.05 分析—描述统计—探索，选择如下：（1）K—S检验 单样本Kolmogorov-Smirnov 检验 身高N60正态参数a,,b均值139.00
标准差7.064 最极端差别绝对值.089 正.045 负-.089 Kolmogorov-Smirnov Z.686 渐近显着性(双侧).735 a. 检验分布为正态分布。 b. 根据数据计算得到。 结果：p=0.735 大于0.05 接受原假设，即数据来自正太总体。（2）W检验
比对试验数据处理的3种方法 摘要引入比对试验的定义，结合两个实验室进行的一组比对试验数据实例，介绍比对试验数据处理的3种基本方法，即(:rubbs检验、F检验、t检验，并阐述三者关系。 在实验室工作中，经常遇到比对试验，即按照预先规定的条件，由两个或多个实验室或实验室内部 对相同或类似的被测物品进行检测的组织、实施和评价。实验室间的比对试验是确定实验室的检测能 力，保证实验室数据准确，检测结果持续可靠而进行的一项重要的试验活动，比对试验方法简单实用，广 泛应用于企事业、专业质检、校准机构的实验室。国家实验室认可准则明确提出，实验室必须定期开展 比对试验。虽然比对试验的形式较多，如:人员比对、设备比对、方法比对、实验室间比对等等，但如何 将比对试验数据归纳、处理、分析，正确地得出比对试验结果是比对试验成败的关键。 以下笔者结合实验室A和B两个实验室200年进行的比对试验中的拉力试验数据实例，介绍比对试验数据处理的3种最基本的方法，即格鲁布斯(Grubbs)检验、F检验、t检验。 1 数据来源情况 试样 在实验室的半成品仓库采取正交方法取样，样品为01. 15 mm制绳用钢丝。在同一盘上截取20 段长度为lm试样，按顺序编号，单号在实验室A测试，双号在实验室B测试。 试验方法及设备 试验方法见 GB/T 228-1987，实验室A : LJ-500(编号450);实验室B : LJ-1 000(编号2)。 测试条件 两实验室选择有经验的试验员，严格按照标准方法进行测试，技术人员现场监督复核，确认无误后 记录。对断钳口的试样进行重试。试验时两实验室环境温度(28 T )、拉伸速度(50 mm/min )、钳口距 离(150 mm)相同。 试验数据 测试得出的两组原始试验数据见表to 表1 实验室A,B试验数据 2 数据处理的方法步骤 基本统计处理 对两组原始试验数据进行基本的统计计算，求出最大值、最小值、平均值、极差、标准偏差等，结果 见表2。 表2 基本统计结果 格鲁布斯(Grubbs)检验 格鲁布斯检验是离散值检验的一种，主要目的是剔除异常数据，这种异常数据不是系统误差，也不 是随机误差，而是由过失误差引起的，这种数据应一律舍去。对任何一组数据进行处理，首先要检验其 是否存在有过失误差带来的异常数据，即进行离散值检验。格鲁布斯检验是离散值检验中最好的方 法，其具体步骤是:将一组数据从小到大按顺序排列:x1、x2、x3、……x n，其中x1可能为离散值，先求 出这组数据的平均值x及标准偏差S，然后求统计量T，若x1，为离散值，由T= (x-x1)/s;若x n为离散 值，则T= (x n-x)/s;所得结果T与格鲁布斯检验值表所得临界值T a, n值比较(注:a为显著性水平，即把正常值判为异常值之类错误的概率，n为样本量)。如果T≥T a， n，说明是离散值，必须舍去;反之，予以保留。 结合A,B实验室数据，我们分别求出各自最大、最小值的 T值(共4个)，T Amin=(2 227. 8-2 195) /=;T Amax=(2 255一2 227. 8)/=;T Bmin=一2 190)/=2. 82; T Bmin=(2 240一2 220. 85)/10. 942=;查表(取σ= 0. 05 ) I T0. 05 ,100 = 3. 21，比较可知，T AminI T Amax x T Bmin x T Bmax:均小于T o. 05,100，不属于离散值，应予保留、 如果通过格鲁布斯检验出离散值，应剔除，然后重新进行统计计算，以更进行下一步的统计分析。 2. 3 F检验
实验现象和实验数据的搜集整理与分析 一．问题阐述 实验现象和数据是定量实验结果的主要表现形式，亦是定量研究结果的主要证据。数据对于实验教学来讲，有着重要的意义和价值。然而在我们的教学中，不尊重事实，漠视实验数据的现象仍经常出现，具体分析，在小学科学实验数据教学中主要存在以下一些问题： （一）数据收集存在的问题 1.数据收集不真实 如《摆的研究》一课教学中，由于测量的次数多，时间紧，而测同一摆重或同一摆长前后时间又几近相同，于是有小组就根据前面的实验数据，推测了后面的数据。又如教学《热是怎样传递的》一课时，有一小组的火柴掉下来的顺序明明不是有规律地从左往右，但听到其他小组火柴都是从左往右有顺序地掉下来，于是他们也修改了自己的数据。 2.数据收集不准确 如教学《水和食用油的比较》一课时，教师引导学生把水和食用油分别装入相同的试管中来比较，结果教学中却出现了相反的现象——装油的试管比装水的试管还要重，原来是装水的试管壁薄，装油的试管壁厚，实验准备时教师并没有发现这个现象，结果出现了上述问题。 3.数据收集不全面 教师在收集数据过程中，各小组虽然都做了同一个实验，但教师只挑选1-2个组的实验表进行展示汇报，而其他组的实验数据一概不论，就草草作结论，这样的实验过程和结果很难说服所有人，也很容易出错。 （二）数据整理存在的问题 1.整理方式简单 课堂上教师比较重视设计小组或个人填写的实验数据表格，但对全班汇总的实验数据形式容易忽视，呈现方式比较简单。在数据呈现时，要么逐一呈现小组原始记录单，要么按小组顺序呈现数据，平时更少使用统计图来整理。黑板上数据显得杂乱无章，不易发现其中的规律。 2.数据取舍不清
数据分析与挖掘实验报告
《数据挖掘》实验报告 目录 1.关联规则的基本概念和方法 (1) 1.1数据挖掘 (1) 1.1.1数据挖掘的概念 (1) 1.1.2数据挖掘的方法与技术 (2) 1.2关联规则 (5) 1.2.1关联规则的概念 (5) 1.2.2关联规则的实现——Apriori算法 (7) 2.用Matlab实现关联规则 (12) 2.1Matlab概述 (12) 2.2基于Matlab的Apriori算法 (13) 3.用java实现关联规则 (19) 3.1java界面描述 (19) 3.2java关键代码描述 (23) 4、实验总结 (29) 4.1实验的不足和改进 (29) 4.2实验心得 (30)
1.关联规则的基本概念和方法 1.1数据挖掘 1.1.1数据挖掘的概念 计算机技术和通信技术的迅猛发展将人类社会带入到了信息时代。在最近十几年里，数据库中存储的数据急剧增大。数据挖掘就是信息技术自然进化的结果。数据挖掘可以从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的，人们事先不知道的但又是潜在有用的信息和知识的过程。 许多人将数据挖掘视为另一个流行词汇数据中的知识发现（KDD）的同义词，而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤。知识发现过程如下： ·数据清理（消除噪声和删除不一致的数据）·数据集成（多种数据源可以组合在一起）·数据转换（从数据库中提取和分析任务相关的数据） ·数据变换（从汇总或聚集操作，把数据变换和统一成适合挖掘的形式） ·数据挖掘（基本步骤，使用智能方法提取数
据模式） ·模式评估（根据某种兴趣度度量，识别代表知识的真正有趣的模式） ·知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）。 1.1.2数据挖掘的方法与技术 数据挖掘吸纳了诸如数据库和数据仓库技术、统计学、机器学习、高性能计算、模式识别、神经网络、数据可视化、信息检索、图像和信号处理以及空间数据分析技术的集成等许多应用领域的大量技术。数据挖掘主要包括以下方法。神经网络方法：神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。典型的神经网络模型主要分3大类：以感知机、bp反向传播模型、函数型网络为代表的，用于分类、预测和模式识别的前馈式神经网络模型；以hopfield 的离散模型和连续模型为代表的，分别用于联想记忆和优化计算的反馈式神经网络模型；以art 模型、koholon模型为代表的，用于聚类的自组
表1-1：不同频率下的遏止电压表 λ（nm）365 404.7 435.8 546.1 577 v（10^14）8.219 7.413 6.884 5.493 5.199 |Ua|(v) 1.727 1.357 1.129 0.544 0.418 表1-2：λ=365（nm）时不同电压下对应的电流值 U/(v)-1.927 -1.827 -1.727 -1.627 -1.527 -1.427 -1.327 I/(10^-11)A-0.4 -0.2 0 0.9 3.9 8.2 14 -1.227 -1.127 -1.027 -0.927 -0.827 -0.727 -0.718 24.2 38.1 52 66 80 97.2 100 表1-3：λ=404.7（nm）时不同电压下对应的电流值 U/(v) -1.477 -1.417 -1.357 -1.297 -1.237 -1.177 -1.117 I/(10^-11)A -1 -0.4 0 1.8 4.1 10 16.2 -1.057 -0.997 -0.937 -0.877 -0.817 -0.757 -0.737 24.2 36.2 49.8 63.9 80 93.9 100 表1-4：λ=435.8（nm）时不同电压下对应的电流值 U/(v)-1.229 -1.179 -1.129 -1.079 -1.029 -0.979 -0.929 I/(10^-11)A-1.8 -0.4 0 2 4.2 10.2 17.9 -0.879 -0.829 -0.779 -0.729 -0.679 -0.629 -0.579 -0.575 24.8 36 47 59 71.6 83.8 98 100 表1-5：λ=546.1（nm）时不同电压下对应的电流值 U/(v)-0.604 -0.574 -0.544 -0.514 -0.484 -0.454 -0.424 I/(10^-11)A-4 -2 0 3.8 10 16.2 24 -0.394 -0.364 -0.334 -0.304 -0.274 -0.244 -0.242 34 46 56.2 72 84.2 98.2 100 表1-6：λ=577（nm）时不同电压下对应的电流值 U/(v)-0.478 -0.448 -0.418 -0.388 -0.358 -0.328 -0.298 I/(10^-11)A-3.1 -1.8 0 2 6 10.2 16.1 -0.268 -0.238 -0.208 -0.178 -0.148 -0.118 -0.088 -0.058 22.1 31.8 39.8 49 58 68.2 79.8 90.1 -0.04 100
检测数据分析和处理程序 1、目的 规范检测报告、原始记录，对检测数据及其计算值的修改、判定作出规定。2、适用范围 适用于检测工作中的检测和检测数据的处理和分析。 3、职责 3.1由质量监督员检查实验室检测人员执行情况。 3.2各检测室负责人监督本部门人员执行。 4、工作程序 4．1 数据修改规则 4.1.1 进舍规则 根据GB8170-2008《数值修改规则》，检测数值或其计算值的进舍可根据概况为如下口诀： 四舍六入五考虑，五后非零则进一，五后皆零视奇偶， 五前为偶应舍去，五前为奇则进一。 4．2 修改位数规则 4.2.1 原始记录数值的有效位数至少应比标准规定的极限数值多一位。 4.2.2 检测报告中，检测数值或其计算值要进行修改，修改位数与标准规定的极限数值书定位数一致。 4．3 不许连续修改规则
规定拟修改数值应在确定修改位数后一次修改获得结果，而不得多次按4.1连续修改。 4．4 检测结果规则 4.4.1检测结果数据发出执行DZ/T 0130--2006《地质矿产实验室测试质量管理规范》。 4.4.2将检测数值或其计算值先进行修改，再加检测不确定度（需要时），然后作最终结果判定。 4．5 检测结果处理 4.5.1 原始数据的审核 (1) 检测条件是否符合标准要求； (2) 选择的数据转化公式，计算方法及其结果是否正确； (3) 数值修改、有效位数是否符合要求； (4) 原始记录填写是否规范，杠改处是否有修改人的证明； (5) 影响检测结果的信息是否有相应的正确描述，如标准规范、样品状态、环境条件，所用仪器设备、检测时间，校准记录等； (6) 原始记录的溯源性、真实性； (7) 计量单位是否正确或能溯源到国际单位制； (8) 属计算机或自动设备采集、处理数据的，投入使用前应经有关部门鉴定，或经数据验证，以确保数据的可靠性； (9) 数据分析人员的签字。 4.5.2 检测数据的审核
实验报告 课程名称：大数据技术实践 实验项目：大数据平台 实验仪器： PC机 学院：计算机学院 专业：计算机科学与技术 班级姓名： * 学号： * 日期： 2019-5-9 指导教师： * 成绩：
一. 实验目的 1. 熟练掌握大数据计算平台相关系统的安装部署 2. 理解大数据MapReduce计算模型，并掌握MapReduce程序开发 3. 掌握Hive的查询方法 4. 掌握Spark的基本操作 二. 实验内容 1. Hadoop完全分布模式安装 2. Hadoop开发插件安装 3. MapReduce代码实现 4. Hive安装部署 5. Hive查询 6. Spark Standalone模式安装 7. Spark Shell操作 三. 实验过程 Hadoop开发插件安装 实验步骤： 1.Eclipse开发工具以及Hadoop默认已经安装完毕，安装在/apps/目录下。 2.在Linux本地创建/data/hadoop3目录，用于存放所需文件。 切换目录到/data/hadoop3目录下，并使用wget命令，下载所需的插件hadoop-eclipse-plugin-2.6.0.jar。
2.将插件hadoop-eclipse-plugin-2.6.0.jar，从/data/hadoop3目录下，拷贝到/apps/eclipse/plugins的插件目录下。 3.进入ubuntu图形界面，双击eclipse图标，启动eclipse。 5.在Eclipse窗口界面，依次点击Window => Open Perspective => Other。 弹出一个窗口。
实验五相关分析实验报关费 一、实验目的： 学习利用spss对数据进行相关分析(积差相关、肯德尔等级相关)、偏相关分析。利用交叉表进行相关分析。 二、实验内容： 某班学生成绩表1如实验图表所示。 1.对该班物理成绩与数学成绩之间进行积差相关分析和肯德尔等级相关 分析。 2.在控制物理成绩不变的条件下，做数学成绩与英语成绩的相关分析（这 种情况下的相关分析称为偏相关分析）。 3.对该班物理成绩与数学成绩制作交叉表及进行其中的相关分析。 三、实验步骤： 1.选择分析→相关→双变量，弹出窗口，在对话框的变量列表中选变量 “数学成绩”、“物理成绩”，在相关系数列进行选择，本次实验选择 皮尔逊相关（积差相关）和肯德尔等级相关。单击选项，对描述统计 量进行选择，选择标准差和均值。单击确定，得出输出结果，对结果 进行分析解释。 2.选择分析→相关→偏相关，弹出窗口，在对话框的变量列表选变量“数 学成绩”、“英语成绩”，在控制列表选择要控制的变量“物理成绩” 以在控制物理成绩的影响下对变量数学成绩与英语成绩进行偏相关分 析；在“显著性检验”框中选双侧检验，单击确定，得出输出结果， 对结果进行分析解释。 3.选择分析→描述统计→交叉表，弹出窗口，对交叉表的行和列进行选 择，行选择为数学成绩，列选择为物理成绩。然后对统计量进行设置， 选择相关性，点击继续→确定，得出输出结果，对结果进行分析解释。 四、实验结果与分析：
表1
五、实验结果及其分析：
分析一：由实验结果可观察出，数学成绩与物理成绩的积差相关系数r=，肯德尔等级相关系数r=可知该班物理成绩和数学成绩之间存在显著相关。
1.方差分析在科学研究中有何意义？如何进行平方和与自由度的分解？如何进行F检验和 多重比较？ （1）方差分析的意义 方差分析，又称变量分析，其实质是关于观察值变异原因的数量分析，是科学研究的重要工具。方差分析得最大公用在于：a. 它能将引起变异的多种因素的各自作用一一剖析出来，做出量的估计，进而辨明哪些因素起主要作用，哪些因素起次要作用。b. 它能充分利用资料提供的信息将试验中由于偶然因素造成的随机误差无偏地估计出来，从而大大提高了对实验结果分析的精确性，为统计假设的可靠性提供了科学的理论依据。 （2）平方和及自由度的分解 方差分析之所以能将试验数据的总变异分解成各种因素所引起的相应变异，是根据总平方和与总自由度的可分解性而实现的。 （3）F检验和多重比较 ①F检验的目的在于，推断处理间的差异是否存在，检验某项变异原因的效应方差是否为零。实际进行F检验时，是将由试验资料算得的F值与根据df1=df t（分子均方的自由度）、df2=df e（分母均方的自由度）查附表4（F值表）所得的临界F值（F0.05（df1，df2）和F0.01（df1，df2））相比较做出统计判断。若F< F0.05（df1，df2），即P>0.05，不能否定H0，可认为各处理间差异不显著；若F0.05（df1，df2）≤F＜F0.01（df1，df2），即0.01 龙源期刊网 https://www.doczj.com/doc/716620623.html, 大数据技术实验室建设探索与研究 作者：王振华洪泓陈春丽 来源：《电脑知识与技术》2017年第12期 摘要：该文分析了大数据技术的前景与重要性，高校建设大数据实验室的意义和必要性。大数据技术是以数据存储、加工、分析为主，向企业或单位提供决策和预测。该文同时探讨了高校大数据技术课程体系，从科学研究和工程项目两个方向，分别设置相关课程。针对大数据技术实验室建设的几个关键要素进行分析，包括实验室基础平台建设，实验室队伍建设，数据资源建设等。 关键词：大数据；实验室建设；机器学习 信息技术与经济社会的快速发展促进了数据量的爆发性增长，数据已成为国家基础性战略资源。利用数据辅助决策、合理配置资源，将是未来企业创造价值的重要方法，也是未来新兴产业创建的重要依据。国家从战略的角度，已经开始重视大数据的发展。2015年8月31日，国务院印发了《促进大数据发展行动纲要》系统部署大数据发展工作。2016年12月18日工业和信息化部印发《大数据产业发展规划（2016-2020年）》。随着大数据技术的快速发展，对该类人才的培养也逐步成为高校信息技术教学的重要内容。 大数据技术数据分析处理是从数据中挖掘关键信息，达到辅助决策，提升运作效率的目标。大数据技术目前在各个行业和跨行业之间存在广泛的应用空间，其重要的应用之一，是预测性分析，从数据中挖掘出特点，建立模型，迭代验证，确立模型，最终实现预测。其中数据分析包括检查、清洗、转换和建模等方法，即根据特定目标，对数据进行收集与存储，数据筛选，算法分析与预测，提出有建设性的意见，进而辅助决策。 大数据技术包含两个方面，即数据存储技术和计算分析技术。存储技术包括非结构化数据收集架构，数据分布式存储集群，MPP架构的新型数据库集群等。大数据中常用的分析技术有：关联规则挖掘、聚类、遗传算法、自然语言处理、神经网络、优化、模式识别、预测模型等。 1大数据课程体系 目前，高校大数据相关专业没有统一的课程体系，大数据技术相关的课程比较多。根据其应用的侧重点不同，可将大数据技术课程体系分为科学研究型和工程项目型两类。具体课程体系见下表1。 2大数据技术实验室建设理念 在高校培养大数据人才，利用高等学校的多学科优势建立大数据技术实验室尤为必要，不仅可以服务于高校的教学和科研，通过大数据技术的科研与实验，使学生掌握主流的大数据存大数据技术实验室建设探索与研究
相关主题
文本预览