目录
目录 (1)
1.引言 (2)
1.1背景与目的 (2)
1.2专业术语及说明 (3)
1.3参考资料 (3)
2. 设计概述 (4)
2.1任务及目标 (4)
2.2需求概述 (5)
2.3运行环境概述 (5)
3.系统详细需求分析 (6)
3.1详细需求分析 (6)
4.总体设计方案 (7)
4.1系统总体结构 (7)
4.2系统模块划分 (8)
5.系统详细设计 (9)
5.1系统结构设计 (9)
5.2系统功能模块详细设计 (10)
6.信息编码设计 (11)
6.1代码结构设计 (11)
6.2代码命名规则 (12)
7.维护设计 (12)
7.1系统的可靠性和安全性 (12)
7.2系统及用户维护设计 (12)
7.3系统扩充设计 (12)
8.系统配置 (13)
8.1硬件配置 (13)
8.2软件配置 (13)
9.关键技术 (13)
9.1关键技术的一般说明 (13)
9.2关键技术的实现方案 (14)
10. 测试 (14)
10.1测试方案 (14)
1.引言
1.1背景与目的
当下互联网和计算机技术越来越多的被各行各业利用，于是产生了海量的数据。进入
2012年后，“大数据”一词越来越多的被提及，人们用它来描述和定义信息爆照时代产生的海量数据。
显而易见地，数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能还没有意识到，但随着时间的推移，人们将越来越多的意识到数据对企业的重要性。而这就需要有一种框架来分析处理这种大数据。对于电力行业更是如此，电力方面每时每刻都在产生着大量的数据，而对这些数据的分析和利用有着巨大的市场前景和意义。
1.2专业术语及说明
Hadoop ：一种分布式基础架构，由Apache基金会开发。用户可以在不了解分布是底层细节的情况下，开发分布式程序。充分利用集群的威力运算和存储。Hadoop实现了一个分布式系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。
Hbase：是一个分布式的、面向列的开源数据库。
Mapreduce：是一种编程模型，用于大规模数据集（大于1T）的并行运算。当前的软件实现是指定一个Map函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce函数，用来保证所有的映射的键值对中的每一个共享相同的键组。
1.3参考资料
【1】相海泉. 大数据时代[J]. 中国信息界, 2013 (5).
【2】李成华, 张新访, 金海, 等. MapReduce: 新型的分布式并行计算编程模型[J]. 计算机工程与科学, 2011, 33(003): 129-135.
【3】谢桂兰, 罗省贤. 基于HadoopMapReduce 模型的应用研究[J][J]. 微型机与应用, 2010, 25(3): 4-7.
【4】陈勇. 基于Hadoop 平台的通信数据分布式查询算法的设计与实现[D][D]. 北京: 北京交通大学, 2009.
【5】T aylor R C. An overview of the Hadoop/MapReduce/HBase framework and its current applications in bioinformatics[J]. BMC bioinformatics, 2010, 11(Suppl 12): S1.
2.设计概述
①从HBASE中取数据（driver 类）————>②通过MapReduce对数据进行第一次处理(Mapper 类)————>③根据应用层的需要，对处理过的数据再次进行处理（Reducer类以及附加类：简单的数学基本函数、统计、概率等），并且返回给客户端（预留接口）
2.1任务及目标
数据合成：
1、PI的常用函数：最大值、平均值等
2、专业函数（与PI服务器类似的内置函数）
数据订单：
1、基本的数据挖掘、数理统计函数功能（如统计/概率）
2.2需求概述
因为电力行业在实际生产和应用的过程中会产生大量的数据，而这些数据又对电力有着巨大的影响和意义。对这些数据的处理和存储就成为一个迫在眉睫的问题。从这些数据中可以提取很多对于电力行业以后的发展和现今的实际生产有着指导意义的数据，利用好这些海量的数据则成为如今电力的一个极具战略意义的问题。
但是，如今的PI服务器不但不能满足于这个需求而且成本较高，所以就有替代的必要。
2.3运行环境概述
20个计算节点的Hadoop集群（可横向扩展），集群配置为2*4核CPU，40—80G 内存，6—12T存储。
2.4详细设计方法和工具
利用Map函数从Hbase中取数据，Reduce函数对取到的数据进行处理，返回结果给用户。如下图
编程工具：eclipse
编程语言：java
3.系统详细需求分析
3.1详细需求分析
A功能需求分析：批量查询功能，数据处理功能（专业数学函数，基本计算函数，统计等）
B性能需求分析：实时性要求较高，对于数据的处理计算Mapreduce完全能够胜任C资源需求分析：多台普通X86服务器，成本较低。
D系统运行环境及限制条件分析：系统需要在Linux系统上面运行，搭建hadoop集群框架
E现有软、硬件资源分析：如今华电现有X86服务器4台，可以利用虚拟技术对hadoop集群进行布置。软件方面目前hadoop框架已搭建成功，可以直接使用。
4.总体设计方案
4.1系统总体结构
如下图为hadoop、hbase、hadoop mapreduce的层次结构
MapReduce分为三个类：Driver类、Mapper类、Reducer类
输入的参数类型是String类（测点名+时间段+（query内容）），解析之后，通过Map Function按照检索条件最后输出List（Hashtable）类型结果；经过Map Function之后的结果，然后在Reducer类里通过调用附加类的函数进行运算，最后输出结果List （Value）。如下图
Map Function
ArrayList MediateResults> Reduce Function ArrayList(SearchResultsw)。 用户 4.2系统模块划分 1）Map类： Map写入检索条件，遍历数据库HBASE，得到需要的数据（可以提供的API按时间检索，按点名检索等）。 需要参数为Hashtable类型（hashtable 2）Reduce类： Reduce函数得到Map的返回结果即ArrayList类型的数据之后经过运算处理返回给User的数据为ArrayList(SearchResultsw)。 3）基础类： 封装的函数：加减乘除等基本运算、统计count、计算概率、解析字符串、专业函数等。 4）Driver类： 使用JobConf和JobClient提交作业；与Map类和Reduce类关联。 5.系统详细设计 5.1系统结构设计 系统分为两个java包：一个是批量查询的包（querydatatable），一个是批量计算的包（datamath）。 在querydatatable包内，有四个类：DriverQuery类、QueryMap类、StringAnalytical类、TxtHBase类。 在datamath包内，有多个类：MathDriver类、MathMap类、MathSum类、 MathCount类、MathDataAppend类等，这个包内需要封装一些类似PI服务器里的函数，如下表所示： PI MapReduce 三角函数三角函数（sin、cos、tan） Log、lg Log、lg 平方根Sqr、方差平方根Sqr、方差 Avg、max、min、total（sum）Avg、max、min、total（sum） 绝对值abs、近似值（round）绝对值abs、近似值（round） 加减乘除加减乘除 统计统计 专业函数（水汽、功率）专业函数（水汽、功率） 字符串解析(...) 字符串解析（...） 时间转化（时间戳）时间转化（时间戳） 错误处理错误处理 好点、坏点处理好点、坏点处理 55.2系统功能模块详细设计 总体功能分为两个部分：数据订单，数据合成。 A.数据订单即批量查询功能 编写字符串解析类，解析HBase的RowKey。然后编写Mapper类，这个类继承自MapReduceBase，重写这里面的接口函数Mapper，将检索条件写入Mapper类。 然后通过Driver类调用JobConf和JobClient提交作业。 B.数据合成即根据上次应用的需求对查询后的数据进行处理计算。 查询后的数据传递给Reducer类，在Reducer类里进行处理，这里需要封装多个Reducer类，根据上面列表内的函数依次封装，用户Reducer类需要继承MapReduceBase类及实现Reducer接口函数，注意的一点是这个里面的输入Key及Value要与Mapper的输出key及Value类型相同。 另外因为有电力方面专业函数的存在，需要编写一个附加类来提供这些计算方法，以便于在用户Reducer类里面调用。 以上的核心逻辑处理完之后，用output.collect方法来输出最终的结果。最后还是使用JobConf及JobClient来提交作业。 6.信息编码设计 6.1代码结构设计 源代码分为两个包，每个包内有不同的java类。Source文件下需要导入hadoop框架的四个.xml文件分别为：core-site.xml、hbase-site.xml、hdfs-site.xml、mapred-site.xml。还有需要有hadoop的jar包支持。 MapReduce框架结构主要是分为3个类：Driver类、Map类、Reduce类 Driver类代码结构为：首先创建JobConf对象conf，设置conf的配置，关联Map类、Reducer类及其他类。然后调用JobClient的静态方法runJob方法启动M/R程序。 Map类代码结构为：这个用户类要求继承自MapReduceBase并且实现Mapper接口，然后根据检索条件遍历HBase中的内容，得到所需要的内容，并且或输出或传递给 Reducer用户类。 Reducer类代码结构为：这个用户类要求继承自MapReduceBase并且实现Reducer 接口，然后通过调用附加类中的函数运算或者根据要求，对Mapper之后的数据经行处理，并且利用output.collect方法输出最终的结果。 附加类代码结构：根据表中所列的函数及其他需求，编写封装函数。 6.2代码命名规则 尽量使用英文直译之后名称来定义，首字母大写。 7.维护设计 7.1系统的可靠性和安全性 后期设计中会加入控制台设计，权限设计以及针对用户的特殊设计。 7.2系统及用户维护设计 利用hadoop框架提供的维护可以实现这一功能。 7.3系统扩充设计 因为hadoop框架是支持横向扩展的，所以存储量这方面不用担心。在功能方面可以预留接口以方便以后的功能性扩展。 8.系统配置 8.1硬件配置 开发：可以在虚拟机下开发，需要五台虚拟机搭建hadoop集群（测试使用）。 运行：多台普通的X86服务器。（实体的hadoop集群） 8.2软件配置 开发环境：eclipse、java1.6、hadoop框架、HBase、win7 64位操作系统 运行环境：zookeeper、HBase、Hadoop、Linux64位操作系统 9.关键技术 9.1关键技术的一般说明 Map/Reduce是一个用于大规模数据处理的分布式计算编程模型，用户定义一个map 函数来处理一个Key/Value对以生成一批中间的key/value对，在定义一个reduce函数将所有的这些中间的有着相同的key的values合并起来。而基于hadoop的MapReduce也 是如此。 9.2关键技术的实现方案 运行于Hadoop的MapReduce应用程序最基本的组成部分包括一个Mapper和一个Reducer类，以及一个创建JobConf的执行程序，在一些应用中还可以包括一个Combiner 类。MapReduce框架是由一个单独的JobTracker（master）和很多歌TaskTracker （slave）集群节点的一个共同组成。 在MapReduce客户端的代码需要指明输入/输出的位置（文件路径/DB/NOSQL/HBASE），客户端再加上作业的参数，就构成了作业配置（job configuration），客户端代码需要定义map和reduce方法通过实现合适的抽象类，并在实现的方法中编写业务逻辑，在客户端还要定义Map/Reduce的输入和输出类型，当Hadoophe job client提交作业（jar包/class/可执行程序）和配置信息给JobTracker，后者负责分发这些软件和配置信息给slave、调度人物并且监控他们的执行，同时提供状态和诊断信息给Job Client。至于客户端job提交后就是hadoop的事情了。 本项设计中通过mapreduce框架从Hbase table中读取数据，经过格式化、对内容的加工，再输出给用户。 10.测试 10.1测试方案 将编写好的代码打包成一个jar包，导入测试的5台虚拟机组成的hadoop集群中，编 写一个测试小程序，测试其运行的过程及结果。 《实验设计与数据处理》大作业 班级：环境17研 姓名： 学号： 1、 用Excel （或Origin ）做出下表数据带数据点的折线散点图 余浊（N T U ) 加量药（mL) 总氮T N (m g /L ) 加量药（mL ) 图1 加药量与剩余浊度变化关系图 图2 加药量与总氮TN 变化关系图 总磷T P (m g /L ) 加量药（mL) C O D C r (m g /L ) 加量药（mL) 图3 加药量与总磷TN 变化关系图 图4 加药量与COD Cr 变化关系图 去除率(%) 加药量(mL) 图5 加药量与各指标去除率变化关系图 2、对离心泵性能进行测试的实验中，得到流量Q v 、压头H 和效率η的数据如表所示，绘制离心泵特性曲线。将扬程曲线和效率曲线均拟合成多项式（要求作双Y 轴图）。 η H (m ) Q v (m 3 /h) 图6 离心泵特性曲线 扬程曲线方程为：H=效率曲线方程为：η=+、列出一元线性回归方程，求出相关系数，并绘制出工作曲线图。 (1) 表1 相关系数的计算 Y 吸光度（A ） X X-3B 浓度（mg/L ） i x x - i y y - l xy l xx l yy R 10 -30 2800 20 -20 30 -10 40 ()() i i x x y y l R --= = ∑ 50 10 60 20 70 30 平均值 40 吸光度 X-3B浓度（mg/L） 图7 水中染料活性艳红（X-3B ）工作曲线 一元线性回归方程为：y=+ 相关系数为：R 2= (2) 代入数据可知： 样品一：x=样品二：x=、试找出某伴生金属c 与含量距离x 之间的关系(要求有分析过程、计算表格以及回归图形)。 表2 某伴生金属c 与含量距离x 之间的关系分析计算表 序号 x c lgx 1/x 1/c 1 2 2 3 3 4 4 5 5 7 6 8 7 10 1 数据分析课程设计 题目：四川农村居民的消费结构浅析 班级：2009级数学与应用数学1班 学号：20091615310028 姓名：张雪梅 指导老师：张燕 时间：2012年6月19日 【摘要】 随着人们生活水平的提高，消费结构也在日益变化，为了能够更好的为四川农村人们服务，更快的发展农村建设，让人们过上更好的生活。在此，有必要研究农村人们的消费结构变化情况，以便做出正确的判断。本文是基于四川统计年鉴中1995年—2010年中的14年的四川省农村居民人均纯收入与消费支出的相关数据，运用sas软件，采用因子分析方法,实证研究了该省农村居民的消费结构变动情况。结论表明, 四川农村居民的生活质量有所提高，大多数人解决了住房、温饱等生活问题，对生活方面的支出有所减少，更多的开始关注文化教育和精神娱乐方面，最后给农村今后的发展提出了小小的建议。 【关键字】 四川省农村居民消费结构因子分析 sas 目录 摘要 (2) 关键字 (2) 目录 (3) 一、消费简介 (6) 1.消费结构概念 (6) 2 研究我省农村居民消费结构的必要性 (6) 二、因子分析概述 (7) 1、因子分析的概念和意义 (7) 2、因子分析的的数学模型 (7) 3、因子分析的基本步骤 (8) 4、因子的命名 (10) 5、计算因子得分 (10) 6、具体实施步骤 (10) 三、实证分析过程 (10) 1、数据的收集整理 (10) 2、相关系数矩阵的计算 (11) 3、因子载荷矩阵的计算 (12) 4、因子的方差贡献率及变量的共同度计算及分析 (14) 5、计算因子得分 (14) 四、结论与建议 (16) 1、结果分析 (16) 2、对于四川省农村居民消费结构的建议 (16) 五、参考文献 (18) 目录 目录 ................................................................................................................... 错误!未指定书签。 1.引言 ................................................................................................................ 错误!未指定书签。 1.1背景与目的.......................................................................................... 错误!未指定书签。 1.2专业术语及说明.................................................................................. 错误!未指定书签。 1.3参考资料.............................................................................................. 错误!未指定书签。 2. 设计概述....................................................................................................... 错误!未指定书签。 2.1任务及目标.......................................................................................... 错误!未指定书签。 2.2需求概述.............................................................................................. 错误!未指定书签。 2.3运行环境概述...................................................................................... 错误!未指定书签。 3.系统详细需求分析......................................................................................... 错误!未指定书签。 3.1详细需求分析...................................................................................... 错误!未指定书签。 4.总体设计方案................................................................................................. 错误!未指定书签。 4.1系统总体结构...................................................................................... 错误!未指定书签。 4.2系统模块划分...................................................................................... 错误!未指定书签。 5.系统详细设计................................................................................................. 错误!未指定书签。 5.1系统结构设计...................................................................................... 错误!未指定书签。 5.2系统功能模块详细设计...................................................................... 错误!未指定书签。 6.信息编码设计................................................................................................. 错误!未指定书签。 6.1代码结构设计...................................................................................... 错误!未指定书签。 6.2代码命名规则...................................................................................... 错误!未指定书签。 7.维护设计......................................................................................................... 错误!未指定书签。 7.1系统的可靠性和安全性...................................................................... 错误!未指定书签。 7.2系统及用户维护设计.......................................................................... 错误!未指定书签。 7.3系统扩充设计...................................................................................... 错误!未指定书签。 8.系统配置......................................................................................................... 错误!未指定书签。 8.1硬件配置.............................................................................................. 错误!未指定书签。 8.2软件配置.............................................................................................. 错误!未指定书签。 9.关键技术......................................................................................................... 错误!未指定书签。 9.1关键技术的一般说明.......................................................................... 错误!未指定书签。 9.2关键技术的实现方案.......................................................................... 错误!未指定书签。 10. 测试............................................................................................................. 错误!未指定书签。 10.1测试方案............................................................................................ 错误!未指定书签。 实验设计与数据处理心得体会 刚开始选这门课的时候,我觉得这门课应该就是很难懂的课程,首先我们做过不少的实验了,当然任何自然科学都离不开实验,大多数学科(化工、化学、轻工、材料、环境、医药等)中的概念、原理与规律大多由实验推导与论证的,但我觉得每次到处理数据的时候都很困难,所以我觉得这就是门难懂的课程,却也就是很有必要去学的一门课程,它对于我们工科生来说也就是很有用途的,在以后我们实验的数据处理上有很重要的意义。 如何科学的设计实验,对实验所观测的数据进行分析与处理,获得研究观测对象的变化规律,就是每个需要进行实验的人员需要解决的问题。“实验设计与数据处理”课程就就是就是以概率论数理统计、专业技术知识与实践经验为基础,经济、科学地安排试验,并对试验数据进行计算分析,最终达到减少试验次数、缩短试验周期、迅速找到优化方案的一种科学计算方法。它主要应用于工农业生产与科学研究过程中的科学试验,就是产品设计、质量管理与科学研究的重要工具与方法,也就是一门关于科学实验中实验前的实验设计的理论、知识、方法、技能,以及实验后获得了实验结果,对实验数据进行科学处理的理论、知识、方法与技能的课程。 通过本课程的学习,我掌握了试验数据统计分析的基本原理,并能针对实际问题正确地运用,为将来从事专业科学的研究打下基础。这门课的安排很合理,由简单到复杂、由浅入深的思维发展规律,先讲单因素试验、双因素试验、正交试验、均匀试验设计等常用试验设计 方法及其常规数据处理方法、再讲误差理论、方差分析、回归分析等数据处理的理论知识,最后将得出的方差分析、回归分析等结论与处理方法直接应用到试验设计方法。 比如我对误差理论与误差分析的学习:在实验中,每次针对实验数据总会有误差分析,误差就是进行实验设计与数据评价最关键的一个概念,就是测量结果与真值的接近程度。任何物理量不可能测量的绝对准确,必然存在着测定误差。通过学习,我知道误差分为过失误差,系统误差与随机误差,并理解了她们的定义。另外还有对准确度与精密度的学习,了解了她们之间的关系以及提高准确度的方法等。对误差的学习更有意义的应该就是如何消除误差,首先消除系统误差,可以通过对照试验,空白试验,校准仪器以及对分析结果的校正等方法来消除;其次要减小随机误差,就就是要在消除系统误差的前提下,增加平行测定次数,可以提高平均值的精密度。 比如我对方差分析的理解:方差分析就是实验设计中的重要分析方法,应用非常广泛,它就是将不同因素、不同水平组合下试验数据作为不同总体的样本数据,进行统计分析,找出对实验指标影响大的因素及其影响程度。对于单因素实验的方差分析,主要步骤如下:建立线性统计模型,提出需要检验的假设;总离差平方与的分析与计算;统计分析,列出方差分析表。对于双因素实验的方差分析,分为两种,一种就是无交互作用的方差分析,另一种就是有交互作用的方差分析,对于这两种类型分别有各自的设计方法,但就是总体步骤都与单因素实验的方差分析一样。 大数据处理平台及可视化架构设计说明书 版本：1.0 变更记录 目录 1 1. 文档介绍 (3) 1.1文档目的 (3) 1.2文档范围 (3) 1.3读者对象 (3) 1.4参考文献 (3) 1.5术语与缩写解释 (3) 2系统概述 (4) 3设计约束 (5) 4设计策略 (6) 5系统总体结构 (7) 5.1大数据集成分析平台系统架构设计 (7) 5.2可视化平台系统架构设计 (11) 6其它 (14) 6.1数据库设计 (14) 6.2系统管理 (14) 6.3日志管理 (14) 1 1. 文档介绍 1.1 文档目的 设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析，清洗，ETL，同时可以编写模型支持后台统计分析算法。 设计数据可视化平台，应用于大数据的可视化和互动操作。 为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。 1.2 文档范围 大数据的处理，包括ETL、分析、可视化、使用。 1.3 读者对象 管理人员、开发人员 1.4 参考文献 1.5 术语与缩写解释 2 系统概述 大数据集成分析平台,分为9个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信的数据。 设计数据可视化平台 ,分为3个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。 3 设计约束 1.系统必须遵循国家软件开发的标准。 2.系统用java开发，采用开源的中间件。 3.系统必须稳定可靠，性能高，满足每天千万次的访问。 4.保证数据的成功抽取、转换、分析，实现高可信和高可用。 《数据分析》课程标准 1．课程定位与课程设计 1.1课程的性质与作用 本课程是大数据应用技术专业的核心课程。通过本课程的学习，使学生掌握调查方案设计、数据资料的收集、整理、分析和数据分析报告的撰写方法和思路，及运用相关数据处理工具进行数据分析的基本方法。该课程主要是培养学生完整数据分析的理念与运用相关数据处理工具进行数据分析的能力，为学生学习和掌握《数据挖掘》等其他专业课程提供必备的专业基础知识，也为学生从事大数据应用技术相关岗位工作打下良好的基础。 1.2课程设计理念 课程设计遵循“以学生为主体”教育思想，依据“任务引领”为课程内容设计原则，以提高学生整体素质为基础，以培养学生市场调查与数据分析工具的使用能力、特别是创新能力和实际操作能力为主线，兼顾学生后续发展需要，选取符合数据分析职场所要求的知识、素质和能力为教学内容；在基本理论和基础知识的选择上以应用为目的，以“必需、够用”为度，服从培养能力的需要，突出针对性和实用性 （2）遵循能力本位的教学观。注重培养学生在工作中对数据资料的收集、整理和分析处理能力，训练学生的专业能力、社会能力和方法能力。课程设计以能力为核心，围绕能力的形成学习相关知识。 1.3 课程设计思路 在课程设计上根据大数据应用技术专业就业岗位群任职要求，改革传统的课程体系和教学方法，形成以就业为导向，立足于学生职业能力培养和职业素养养成，突出课程的应用性和操作性。数据分析工作是一个有序开展的工作，顺序性和过程性很强，课程设计的思路正是依据工作任务的顺序和过程开展的，数据分析工作过程主要分为五个步骤，这五个步骤也就是五个工作项目，构成了本课程学习内容的框架。通过任务驱动充分发挥学生的主体作用，让学生在完成具体任务的过程中来构建相关理论知识，发展职业能力，并提升职业素养。在教学内容上遵循“理论够用、适度，重在应用”的原则，弱化理论，剔除抽象的公式推导和复杂计算分析，把数据资料的收集特别是利用互联网收集数据资料及运用数据分析工具软件进行数据分析，作为重点内容进行讲授和训练，适应社会经济和科技进步给市场信息分析与预测带来的发展。 2．课程目标 通过本课程的学习，学生掌握从调查方案设计、数据资料的收集、处理、分析到数据分析报告的撰写整个工作流程，学会运用相关数据处理工具进行数据分析的基本方法。同时还要培养学生自主学习能力、自我管理能力、沟通能力、组织协调能力、市场开拓意识、竞争意识和团队协作精神，使学生既具备较高的业务素质，又具有良好的职业道德和敬业精神。 《数据分析方法》 课程实验报告 1.实验内容 （1）掌握回归分析的思想和计算步骤； （2）编写程序完成回归分析的计算，包括后续的显著性检验、残差分析、Box-Cox 变换等内容。 2.模型建立与求解(数据结构与算法描述) 3.实验数据与实验结果 解：根据所建立的模型在MATLAB中输入程序（程序见附录）得到以下结果：（1）回归方程为： 说明该化妆品的消量和该城市人群收入情况关系不大，轻微影响，与使用该化妆品的人数有关。 的无偏估计： （2）方差分析表如下表： 方差来源自由度平方和均方值 回归（） 2 5384526922 56795 2.28 误差（）12 56.883 4.703 总和（）14 53902 从分析表中可以看出：值远大于的值。所以回归关系显著。 复相关，所以回归效果显著。 解：根据所建立的模型，在MATLAB中输入程序（程序见附录）得到如下结果：（1）回归方程为： 在MTLAB中计算学生化残差（见程序清单二），所得到的学生化残差r的值由残差可知得到的r的值在（-1，1）的概率为0.645，在（-1.5，1.5）的概率为0.871，在（-2，2）之间的概率为0.968. 而服从正态分布的随机变量取值在（-1，1）之间的概率为0.68，在（-1.5，1.5）之间的概率为0.87，在（-2.2）之间的概率为0.95，所以相差较大，所以残差分析不合理，需要对数据变换。 取=0.6进行Box-Cox变换 在MATLAB中输入程序（见程序代码清单二） 取，所以得到r的值（r的值见附录二）其值在（-1，1）之间的个数大约为20/31=0.65，大致符合正态分布，所以重新拟合为： 拟合函数为： 通过F值，R值可以检验到，回归效果显著 （3）某医院为了了解病人对医院工作的满意程度和病人的年龄，病情的严重程度和病人的忧虑程度之间的关系，随机调查了该医院的23位病人，得数据如下表： 计算平台 概要设计说明书 作者：日期：2013-01-28批准：日期： 审核：日期： （版权所有，翻版必究） 文件修改记录 目录 1.引言 ........................................................................................... 1.1编写目的................................................. 1.2术语与缩略词............................................. 1.3对象及范围............................................... 1.4参考资料................................................. 2.系统总体设计 ............................................................................. 2.1需求规定................................................. 2.1.1数据导入............................................ 2.1.2数据运算............................................ 2.1.3运算结果导出........................................ 2.1.4系统监控............................................ 2.1.5调度功能............................................ 2.1.6自动化安装部署与维护................................ 2.2运行环境................................................. 2.3基本设计思路和处理流程................................... 2.4系统结构................................................. 2.4.1大数据运算系统架构图................................ 2.4.2hadoop体系各组件之间关系图......................... 2.4.3计算平台系统功能图.................................. 2.4.4系统功能图逻辑说明.................................. 2.4.5计算平台业务流程图.................................. 课 程 论 文 课程名称试验设计与数据处理 专业2012级网络工程 学生姓名孙贵凡 学号201210420136 指导教师潘声旺职称副教授 成绩 科学研究与数据处理 学院信息科学与技术学院专业网络工程姓名孙贵凡学号：201210420136 摘要：《实验设计与数据处理》这门课程列举典型实例介绍了一些常用的实验设计及实验数据处理方法在科学研究和工业生产中的实际应用，重点介绍了多因素优化实验设计——正交设计、回归分析方法以对目标函数进行模型化处理。其适于工艺、工程类本科生使用，尤其适用于化学化工、矿物加工、医学和环境学等学科的本科生使用。其对行实验设计可提供很大的帮助，也可供广大分析化学工作者应用。关键字：优化实验设计; 标函数进行模型化处理; 正交设计; 回归分析方法 1 引言 实验是一切自然科学的基础,科学界中大多数公式定理是由试验反复验证而推导出来的。只有经得起试验验证的定理规律才具有普遍实用性。而科学的试验设计是利用自己已有的专业学科知识，以大量的实践经验为基础而得出的既能减少试验次数，又能缩短试验周期，从而迅速找到优化方案的一种科学计算方法，就必然涉及到数据处理，也只有对试验得出的数据做出科学合理的选择，才能使实验结果更具说服力。实验设计与数据处理在水处理中发挥着不可估量的作用，通过科学合理的实验设计过程加上严谨规范的数据处理方法，可以使水处理原理，内在规律性被很好的发现，从而更好的应用于生产实践。 2 材料与方法 2.1 供试材料 1. 论文所围绕的目标和假设 研究的目标就是实验的目的，我们设计了这个实验是想来做什么以及想得到什么样的结论。要正确的识别问题和陈述问题，这些需要专业知识和大量的阅读文献综述等方法来获得我们所要提出的问题。需要对某一个具体的问题，并且对这个具体的问题提出假设。如水处理中混凝剂的最佳投加量，混凝剂的最佳投加量有一个适宜的PH值范围。 《数据分析方法》课程设计 成绩评定表 学生姓名严震班级学号1109010114 专业信息与计算课程设计题目NBA球员技科学术统计分析报告 评 语 组长签字： 成绩 日期 20年月日 《数据分析方法》课程设计 课程设计任务书 学院理学院专业信息与计算科学学生姓名严震班级学号1109010114 课程设计题目NBA 球员技术统计分析报告实践教学要求与 任务 : 设计要求（技术参数）： 1、熟练掌握SPSS 软件的操作方法； 2、根据所选题目及调研所得数据，运用数据分析知识，建立适当的数学模型； 3、运用 SPSS 软件，对模型进行求解，对结果进行分析并得出结论; 4、掌握利用数据分析理论知识解决实际问题的一般步骤。 设计任务： 1、查阅相关资料，找到NBA 球员技术的相关指标，获得相关数据； 2、利用数据分析的理论，建立线性回归模型，以及对其进行主成分分析； 3、利用 SPSS软件求解 , 并给出正确的结论。 工作计划与进度安排 : 第一天——第二天学习使用SPSS 软件并选题 第三天——第四天查阅资料 第五天——第六天建立数学模型 第七天——第九天上机求解并完成论文 第十天答辩 指导教师：专业负责人：学院教学副院长： 201年月日201年月日201年月日 II 摘要 数据分析析的主要应用有两方面，一是寻求基本结构，简化观测系统，将具有错综复杂关系的对象（变量或样品）综合为少数几个因子（不可观测的，相互独立的随机变 量），以再现因子与原变量之间的内在联系；二是用于分类，对p 个变量或 n 个样品进 行分类。聚类分析一般有两种类型，即按样品聚类或按变量（指标）聚类，其基本思想是通过定义样品或变量间“接近程度”的度量，将“相近”的样品或变量归为一类。本文 利用利用数据分析中的因子分析和聚类分析对多个变量数据进行了分析。就是分析和处理 数据的理论与方法，数据分析中提出了广泛的多元数据分析的统计方法，包括线性回归分析、方差分析、因子分析、主成分分析、典型相关分析、判别分析、聚类分析等。 关键词： spss 软件 ; 聚类分析 ; 因子分析 ; 线性规划 目录 目录 (1) 1.引言 (2) 1.1背景与目的 (2) 1.2专业术语及说明 (3) 1.3参考资料 (3) 2. 设计概述 (4) 2.1任务及目标 (4) 2.2需求概述 (5) 2.3运行环境概述 (5) 3.系统详细需求分析 (6) 3.1详细需求分析 (6) 4.总体设计方案 (7) 4.1系统总体结构 (7) 4.2系统模块划分 (8) 5.系统详细设计 (9) 5.1系统结构设计 (9) 5.2系统功能模块详细设计 (10) 6.信息编码设计 (11) 6.1代码结构设计 (11) 6.2代码命名规则 (12) 7.维护设计 (12) 7.1系统的可靠性和安全性 (12) 7.2系统及用户维护设计 (12) 7.3系统扩充设计 (12) 8.系统配置 (13) 8.1硬件配置 (13) 8.2软件配置 (13) 9.关键技术 (13) 9.1关键技术的一般说明 (13) 9.2关键技术的实现方案 (14) 10. 测试 (14) 10.1测试方案 (14) 1.引言 1.1背景与目的 当下互联网和计算机技术越来越多的被各行各业利用，于是产生了海量的数据。进入 2012年后，“大数据”一词越来越多的被提及，人们用它来描述和定义信息爆照时代产生的海量数据。 显而易见地，数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能还没有意识到，但随着时间的推移，人们将越来越多的意识到数据对企业的重要性。而这就需要有一种框架来分析处理这种大数据。对于电力行业更是如此，电力方面每时每刻都在产生着大量的数据，而对这些数据的分析和利用有着巨大的市场前景和意义。 1.2专业术语及说明 Hadoop ：一种分布式基础架构，由Apache基金会开发。用户可以在不了解分布是底层细节的情况下，开发分布式程序。充分利用集群的威力运算和存储。Hadoop实现了一个分布式系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。 Hbase：是一个分布式的、面向列的开源数据库。 Mapreduce：是一种编程模型，用于大规模数据集（大于1T）的并行运算。当前的软件实现是指定一个Map函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce函数，用来保证所有的映射的键值对中的每一个共享相同的键组。 1.3参考资料 Xx大学2014-2015学年第一学期课程小论文课程名称：数据分析课程编号： 论文题目：大学生网上购物状况的调查分析 学生（学号）： 学生（学号）： 学生（学号）： 论文评价： 最终成绩： 任课教师：评阅日期： 摘要：本文以问卷调查的形式，研究了当前大学生的网上购物现状。我们以统计软件SPSS为工具，对问卷调查所得的数据加以整理，分析得出在校大学生几乎人人都有网上购物的经历，平均每月每人会进行2-3次的网上购物，月网购费用平均为169元。不同的年级、不同的地方、不同性别的大学生网上购物的习惯也各不相同。对城镇的大学生来说，由于月生活费用比农村性质的大学生要高，因此月网购的花费相对更高，网购次数也越频繁。通常大家更喜欢在网上购买服装，书籍等商品，女大学生也喜欢购买装饰品和护肤产品。尽管大学生都喜欢网上购物，但是也有一部分人群对网上购物流程的不太熟悉，并且对所购的商品不满意。因此本文针对大学生网购出现的状况，对当前的网上购物现象和问题进行了总结，分析了当代大学生网购存在的问题及原因，提出了在的新形势下，如何让大学生更好地更放心的进行网购的对策。关键词：大学生网上购物SPSS 网购现状对策 引言：随着网络的普及，电脑成本的不断下降，依赖于网络的网络购物作为一种新型的消费方式，在全国乃至全球围都在飞速的发展，并且越来受到人们的青睐。网上购物已经慢慢地从一个新鲜的事物逐渐变成人们日常生活的一部分，冲击着人们的传统消费习惯和思维、生活方式，以其特殊的优势而逐渐深入人心最适合年轻族群购物口味的一种购物方式。 作为“高触网”的大学生，随着网络和电子商务的发展，他们成为网络购物群体中的主体。他们往往扮演者引领社会消费趋势的角色。尽管在校期间学生没有固定收入来源，在消费能力上受到了限制，但由于他们作为容易接受新鲜事物的一个群体，更加喜欢快捷、选择多的商品，因此省时省力的网络成了他们最好的购物方式。其次，大部分学生4年之后都会获得一份高于社会平均水平的收入。所以在校大学生一旦突破了资金的限制，将会成为社会主要的消费群体，其在校期间的消费行为会代表未来几年的消费趋势。基于这样一种思考我们对在校大学生进行问卷调查，利用Spss软件对各数据进行深入的分析，以便更好的了解当代大学生网络购物的特征。 一．抽样调查基本情况 通过设计调查问卷的方式，对我校100名大学生的家庭月收入、月生活费、网购的次数、月网购所花的钱、网购的商品类别、常购物的、网购的主因、对网购发展前景的看法、网购的熟悉程度、喜欢那种促销活动和对网购的满意程度进行了数据统计。用于深入统计分析大学生网购。 《试验设计与数据处理》 专业：机械工程班级：机械11级专硕学号：S110805035 姓名：赵龙 第三章：统计推断 3-13 解：取假设H0：u1-u2≤0和假设H1：u1-u2＞0用sas分析结果如下：Sample Statistics Group N Mean Std. Dev. Std. Error ---------------------------------------------------- x 8 0.231875 0.0146 0.0051 y 10 0.2097 0.0097 0.0031 Hypothesis Test Null hypothesis: Mean 1 - Mean 2 = 0 Alternative: Mean 1 - Mean 2 ^= 0 If Variances Are t statistic Df Pr > t ---------------------------------------------------- Equal 3.878 16 0.0013 Not Equal 3.704 11.67 0.0032 由此可见p值远小于0.05，可认为拒绝原假设，即认为2个作家所写的小品文中由3个字母组成的词的比例均值差异显著。 3-14 解：用sas分析如下： Hypothesis Test Null hypothesis: Variance 1 / Variance 2 = 1 Alternative: Variance 1 / Variance 2 ^= 1 - Degrees of Freedom - F Numer. Denom. Pr > F ---------------------------------------------- 2.27 7 9 0.2501 由p值为0.2501＞0.05（显著性水平），所以接受原假设，两方差无显著差异 第四章：方差分析和协方差分析 4-1 解： Sas分析结果如下： Dependent Variable: y Sum of Source DF Squares Mean Square F Value Pr > F 基于K-均值的Iris数据聚类分析 姓名谢稳 学号 1411010122 班级信科 14-1 成绩 _________________ 基于K-均值的Iris数据聚类分析 姓名:谢稳 信息与计算科学14-1班 摘要数据挖掘在当今大数据新起的时代是一项必须掌握的技能，聚类分析是数据挖掘技术中一项重要的研究课题，在很多领域都有具有广泛的应用，如模式识别、数据分析等。聚类分析的目的是将数据对象分成若干个类或簇，使得在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象之间相似度较低［5］。通过聚类分析，人们能够识别出数据分布密集和稀疏的区域，发现全局的分布模式以及数据属性之间一些意想不到的相互关系。本文对R.A.Fisher 在1936 年发表的Iris 数据进行数据挖掘，使用聚类分析中的K-Means对该问题进行进一步分析研究。实验证明两种方法都是适合的解决此类问题的。 关键词Iris数据；聚类分析；K-均值聚类. 0前言 本文对聚类分析的原理进行阐述，并聚类分析中的谱系聚类法和K-means对R.A.Fisher 的Iris 数据进行了数据分析，得到了几乎相同的结论，数据量太少，回带误差大约是20%。 1数据分析预处理 1.1 数据来源 分析的数据来自R.A.Fisher 在1936 年发表的Iris 数据（见附录B表B.1），据表可知前50个数据为牵牛一类，再50个数据为杂色一类，后50个数据为锦葵一类。将数据样本X变量放入matlab变量名X,,保存为matlab的huaban.mat文件。 1.2 数据分析 采用谱系聚类分析方法和K-means聚类法解决例如Iris类的分类等问题。 2聚类分析 2.1聚类的概述 聚类分析是研究对样品或指标进行分类的一种多元统计方法，是依据研究对象的个体的特征进行分类的方法；聚类分析把分类对象按一定规则分成若干类，这些类非事先指定的，而是根据数据特征确定的。在同一类中这些对象在某种意义上趋向于彼此相似，而在不同类中趋向于不相似；职能是建立一种能按照样品或变量的相似程度进行分类的方法。聚类准则为“亲者相聚，疏者相分”。 2.2 分类 2.2.1 R型聚类分析 R型聚类分析是对变量（指标）的分类，其主要作用：不但可以了解个别变量之间的亲疏程 数据分析课程标准标准化工作室编码[XX968T-XX89628-XJ668-XT689N] 《数据分析》课程标准 1．课程定位与课程设计 1.1课程的性质与作用 本课程是电子商务专业的专业基础课程。通过本课程的学习，使学生掌握调查方案设计、数据资料的收集、整理、分析和数据分析报告的撰写方法和思路，及运用EXCEL进行数据分析的基本方法。该课程主要是培养学生完整市场调查的理念与运用EXCEL进行数据分析的能力，为学生学习和掌握《网络营销与策划》、《店铺运营》、《客户服务》等其他专业课程提供必备的专业基础知识，也为学生从事电子商务运营与推广、客户服务等电子商务相关岗位工作打下良好的基础。 1.2课程设计理念 课程设计遵循“以学生为主体”教育思想，依据“任务引领”为课程内容设计原则，以提高学生整体素质为基础，以培养学生市场调查与数据分析工具的使用能力、特别是创新能力和实际操作能力为主线，兼顾学生后续发展需要，选取符合电子商务职场所要求的知识、素质和能力为教学内容；在基本理论和基础知识的选择上以应用为目的，以“必需、够用”为度，服从培养能力的需要，突出针对性和实用性（2）遵循能力本位的教学观。注重培养学生在工作中对数据资料的收集、整理和分析处理能力，训练学生的专业能力、社会能力和方法能力。课程设计以能力为核心，围绕能力的形成学习相关知识。 1.3 课程设计思路 在课程设计上根据电子商务专业就业岗位群任职要求，改革传统的课程体系和教学方法，形成以就业为导向，立足于学生职业能力培养和职业素养养成，突出课程的应用性和操作性。数据分析工作是一个有序开展的工作，顺序性和过程性很强，课程设计的思路正是依据工作任务的顺序和过程开展的，数据分析工作过程主要分为五个步骤，这五个步骤也就是五个工作项目，构成了本课程学习内容的框架。通过任务驱动充分发挥学生的主体作用，让学生在完成具体任务的过程中来构建相关理论知识，发展职业能力，并提升职业素养。在教学内容上遵循“理论够用、适度，重在应用”的原则，弱化理论，剔除抽象的公式推导和复杂计算分析，把数据资料的收集特别是利用互联网收集数据资料及运用数据分析工具软件进行数据分析，作为重点内容进行讲授和训练，适应社会经济和科技进步给市场信息分析与预测带来的发展。 2．课程目标 通过本课程的学习，学生掌握从调查方案设计、数据资料的收集、处理、分析到数据分析报告的撰写整个工作流程，学会运用EXCEL进行数据分析的基本方法。同时还要培养学生自主学习能力、自我管理能力、沟通能力、组织协调能力、市场开拓意 《数据库原理与应用》 课程设计 个人总结 题目机票预订系统 专业班级计0903 学号 2 姓名王龙飞 指导老师强新建 完成时间2012.1.12 课程设计心得体会及总结 两个星期的时间非常快就过去了，这两个星期不敢说自己有多大的进步，获得了多少知识，但起码是了解了项目开发的部分过程。虽说上过数据库上过管理信息系统等相关的课程，但是没有亲身经历过相关的设计工作细节。这次实习证实提供了一个很好的机会。 通过这次课程设计发现这其中需要的很多知识我们没有接触过，去图书馆查资料的时候发现我们前边所学到的仅仅是皮毛，还有很多需要我们掌握的东西我们根本不知道。同时也发现有很多已经学过的东西我们没有理解到位，不能灵活运用于实际，不能很好的用来解决问题，这就需要我们不断的大量的实践，通过不断的自学，不断地发现问题，思考问题，进而解决问题。在这个过程中我们将深刻理解所学知识，同时也可以学到不少很实用的东西。 从各种文档的阅读到开始的需求分析、概念结构设计、逻辑结构设计、物理结构设计。亲身体验了一回系统的设计开发过程。很多东西书上写的很清楚，貌似看着也很简单，思路非常清晰。但真正需要自己想办法去设计一个系统的时候才发现其中的难度。经常做到后面突然就发现自己一开始的设计有问题，然后又回去翻工，在各种反复中不断完善自己的想法。 我想有这样的问题不止我一个，事后想想是一开始着手做的时候下手过于轻快，或者说是根本不了解自己要做的这个系统是给谁用的。因为没有事先做过仔细的用户调查，不知道整个业务的流程，也不知道用户需要什么功能就忙着开发，这是作为设计开发人员需要特别警惕避免的，不然会给后来的工作带来很大的麻烦，甚至可能会需要全盘推倒重来。所以以后的课程设计要特别注意这一块的设计。 按照要求，我们做的是机票预订系统。说实话，我对这个是一无所知的，没有订过机票，也不知道航空公司是怎么一个流程。盲目开始设计的下场我已经尝过了，结果就是出来一个四不像的设计方案，没有什么实际用处。没有前期的调查，仅从指导书上那几条要求着手是不够的。 在需求分析过程中，我们通过上网查资料，去图书馆查阅相关资料，结合我们的生活经验，根据可行性研究的结果和客户的要求，分析现有情况及问题，采用结构，将机票预定系统划分为两个子系统：客户端子系统，服务器端子系统。在两周的时间里，不断地对程序及各模块进行修改、编译、调试、运行，其间遇到很多问题：由于忘记了一些语言的规范使得在调试过程中一些错误没有发现，通过这次课程设计，我对调试掌握得更加熟练了，意识到了程序语言的规范性以及我们在编程时要有严谨的态度，同时在写程序时如有一定量的注释，既增加了程序的可读性，也可以使自己在读程序时更容易。 我们学习并应用了语言，对数据库的创建、修改、删除方法有了一定的了解，通过导入表和删除表、更改表学会了对于表的一些操作，为了建立一个关系数据库信息管理系统，必须得经过系统调研、需求分析、概念设计、逻辑设计、物理设计、系统调试、维护以及系统评价的一般过程，为毕业设计打下基础。 很多事情不是想象中的那么简单的，它涉及到的各种实体、属性、数据流程、数据处理等等。很多时候感觉后面的设计根本无法继续，感觉像是被前面做的各种图限制了。在做关系模型转换的时候碰到有些实体即可以认为是实体又可以作为属性，为了避免冗余，尽量按照属性处理了。 物理结构设计基本没有碰到问题，这一块和安全性、完整性不觉就会在物理结构设计中添加一些安全设置：主键约束、约束、定义等。最后才做索引的部分，对一些比较经常使用搜索的列，外键上建立索引，这样可以明显加快检索的速度，最后别忘记重要的安全性设置，限制用户访问权限，新建用户并和数据库用户做相应的映射。 不管做什么，我们都要相信自己，不能畏惧，不能怕遇到困难，什么都需要去尝试，有些你开始认为很难的事在你尝试之后你可能会发现原来她并没有你以前觉得的那样，自己也实验设计与数据处理
数据分析课程设计
大数据处理详细设计
实验设计与数据处理心得
大数据处理平台构架设计说明书
《海量数据分析》课程标准
数据分析方法课程设计报告
大数据平台概要设计说明书
试验设计与数据处理课程论文
数据分析课程设计-NBA球员技术统计分析报告
大数据处理详细设计说明
数据分析课程设计报告
实验设计与数据处理课后答案
数据分析课程设计论文
数据分析课程标准
数据库课程设计心得体会
相关主题
文本预览