自主大数据处理平台的设计和实现
崔希宁 1
1. 中国移动北京公司信息系统部系统维护中心 , 北京 ,中国 100058
【摘要】本文分析大数据处理的基本原理,并根据分片存储、分布计算、移动计算的原则,论述一种基于通用数据库存储的大数据处理平台的构架设计和实现。
【关键词】大数据;分片存储;分布分析;移动计算
1现有基础设施无法应对数据驱动
当今的数据仓库解决方案通常是借助通用数据库
(比如 Oracle 或基于硬件的专用平台(比如 Teradata 、
Netezza 而创建的,而这两种方案都不能从根本上解决
当今(以及未来数据驱动型社会所面临的挑战。
通用数据库(比如 Oracle 是针对 OLTP 处理功能
设计的,在运行大量小规模交易查询数据时效果最好。
从结构上来说, 他们采用了“完全共享”或“磁盘共享”
体系。“完全共享”体系局限于单一服务器(通常是价
格比较昂贵的 SMP 服务器 , 其扩展性和性能受到相应
的限制。“磁盘共享”体系(比如 Oracle RAC允许系
统带有多个服务器, 这些服务器与 SAN 或其它共享存储
设备相连。这种体系需要通过一个狭窄的数据管道将所
有 I/O信息过滤到昂贵的共享磁盘子系统。实践证明:
这些通用磁盘共享体系复杂、脆弱,在处理万亿字节数
据时难以胜任。
2需要采用新的方法
以往的经验已经多次证明:专有硬件的优越性只能
维持很短的一段时间,然后就必然被迅速更新的商用硬
件取而代之。在数据仓库领域,专有互连体系、定制处
理器 /FPGA以及其它类似组件都曾经占有一席之地。不过,从现在的情况来看,这些老式技术已经逐渐被新式
数据构架体系所取代。分片存储、移动计算成为解决数据扩张的根本之道。
3自主的大数据处理平台构架设计
3.1 平台整体架构
主节点:
负责解析外部数据,以及对路由节点提供数据路由数据。
路由节点 ;
接收主节点的数据,以及把接收到的数据根据路由规则把数据分发到各个数据节点以及下一级的路由节点,
结合目前较为流行的 MINA 等网络框架,进行统一管理,负责每个模块之间的数据上传,下发,数据、消息等。
数据节点:
DATANODE 节点采用成熟数据库作为每个节点的数据节点,可以为ORACLE 、 MYSQL 、 MS SQL, POSTGRESQL 等数据库组成。
1、负责有各个路由节点发送过来的数据, 装载到数据库中
2、负责查询节点需要对数据检索,并返回查询节点对应的数据到结果库中或者直接将结果返回查询节点。
查询节点:
负责对客户提出的查询 SQL 语句进行解析,并且根据路由条件,分部到不同的数据节点中。
数据节点均返回数据之后把数据发送至查询结果
库后,直接将结果检索出来,返回给客户。
图 1. 数据处理平台总线结构
3.2 系统逻辑结构和物理结构拓扑图 2. 数据处理逻辑结构
图 3. 数据处理物理拓扑图 4自主平台可以实现功能的实现 4.1数据导入 \导出逻辑导入:
由于入库数据可能千奇百怪 , 各式各样 , 因此针对其他数据库的数据 , 支持APACHE MQ, SOCKET , XML , TXT ,结构化数据,以及各种数据库等源。
在数据导入的过程中,可以在每个节点进行数据导入, 导入之后, 将根据 main 节点把数据路由到各个数据节点中去。
逻辑导出:
数据导出,可以提供数据对外接口,包括 TXT , XML , 结构化数据, SOCKET 等以及导出到其他数据库中去均支持。
4.2 数据路由
数据路由主要负责数据统一转发 , 分配等工作 . 路由分配方式支持 :冗余 , 平均 , 范围 , 列表 , 模糊匹配等分配方式 .
冗余 :根据配置 , 针对数据在路由的过程中 , 对一份数据分发 , 可以分发至多数据节点 , 分发数据相同 , 保证各个节点可以同时对较为复杂的业务逻辑检索提供数据查询 . 这种数据检索查询结果没有合并过程 .
平均 :每次操作 , 根据实际录入的数据 , 在每个 datanode 上平均分配 , 保证所有的节点 , 数据量基本相同 , 平均分配入库数据量 .
范围 :根据范围条件 , 对录入的数据进行范围匹配 , 匹配之后的数据 , 根据范围把数据路由到不同的节点 .
列表 :根据每个字段给出的列表信息 , 范围在列表范围之内的 , 可以进入不同的节点分区之内 , 不在列表范围之内的 , 将进入默认节点 .
正则表达式 :根据不同的正则表达式规则 , 可以把数据路由到不同的数据节点中去 .
4.2 数据检索
数据检索主要为了对外提供数据查询服务 , 其中包括数据检索解析、数据检索分发, 数据检索返回中间库, 数据检索直接返回等功能。
图 4. 数据分布检索
数据检索主要对外提供相对较为简单的服务 , 主要根据实际现有的数据进行同步情况下的数据检索情况 . 主要检索步骤 :
1、 Search 主要负责数据接收服务 , 然后把数据
传输到路由模块
2、路由模块根据实际检索服务情况 , 把 SQL 语句
分发至各个数据节点 ,
3、各个数据节点执行完了数据检索 , 之后 , 把结
果立即返回至结果库。
4、结果库的数据直接返回值 Search 模块, 返回
给客户,或者有可以直接去结果库查询检索的结果。
4.3数据冗余管理
主要分为两种数据冗余方案
1、底层数据节点自带冗余方案
由于数据节点采用 MYSQL 数据库,因此利用 MYSQL 自己的数据冗余复制方案,有 LVS 对外提供 HA 切换保证 MYSQL 正常运行。
故障切换之后 :
2、 ICDS 数据冗余方案 , 由路由节点给数据节点发送数据的时候 , 自动写同样的一份数据 , 发送至冗余节点 , 冗余节点通过 DataNode 自动把数据装载到数据库中 , 如果一个节点出现问题 , 路由节点会自动由另一个节点对外提供数据服务 .
如果出现一个数据节点坏掉 , 不可恢复 , 这时候软件心跳检测出没有冗余 , 会提示报警 , 需要进行数据冗余处理 .
5 自主平台的特点及其实现机制
5.1灵活性
1.
主节点稳定性
主节点负责的任务主要分为以下:
1 源文件解析【 XML , TXT , EXCEL , SQL ,
SOCKET ,定制化接口】。
2 解析之后,分发给各个路由节点。
3 生成 ICDSN 号, 保证各个节点之间数据装载的
一致性。 2. 数据节点稳定性
数据存储架构
ICDS 对底层数据存储采用数据库技术, 可以适用于不同的数据库,因此稳定性均是基于目前关系型数据库的体系结构
数据冗余架构
当前 ICDS 第一版本以支持 MYSQL 为例, 进行统一数据管理,底层数据冗余,全部由 MYSQL 自行管理,进行数据复制,保证数据的一致性。数据冗余切换管理
在数据冗余复制的时候,如果出现某个 DATANODE 节点出现了问题,将会有备份节点自动接管。再接管
的过程中,由于涉及到 IP 地址的更新,因此这里采用了 HA 的技术原理,对 route 节点提供 VIP 地址,保证在连接的时候,由于节点自动 down 掉之后,主备库之间自动切换的功能。
异常处理
在数据装载的过程中,如果出现了数据库异常, 或者装载程序异常,软件会自动备份数据到节点磁盘缓存中。在软件启动的时候,将会重新装载所有没有装载的数据,装在数据完成之后, DataNode 将启动成功,否则数据节点将处于 recover 状态。
3. 路由节点稳定性路由节点由两部分组成
上层数据分发到下层数据节点、路由节点的功能
在数据节点数据没有接收完成数据之前,路由节点的内存中是保存当前未发送完的数据;
如果在路由节点出现了异常等任何问题,路由节
点都会在异常处理的过程中,对当前正在处理的数据进行磁盘保存。保证数据在整个传输的过程中不丢失。
4. 查询节点
每个数据节点均可以充当查询节点【也可以同时充当路由节点】的角色
每个查询节点接收到查询命令之后,直接根据路由信息,发到对应的数据节点进行数据检索,数
据节点检索之后,就会把检索的结果集存放到结果库
中去。
如果客户检索的结果集数据量很大,可以把数据存放到结果库, 然后直接去结果库查看结果即可。如果结果集很小,可以直接返回数据库,也可以直接返回给客户。
5.2高性能
由于在目前所有的 OLTP 系统中,都是单一的数据库软件,而硬件又不能无限的扩展,针对目前相对较小的数据库还是可以承受,但是数据量的膨胀速度,很多企业
的数据量超过了上百 TB ,甚至上百 PB 的数据量, 针对如此庞大的数据进行数据分析,统一检索,相对来说面临的问题接踵而至:效率问题,数据管理问题,数据安全问题等等。
因此在数据进行并发检索的时候,可以把所有的简单的检索移植到多台硬件设备上并行进行数据检索,可以实现多台主机同时运行共同对外提供数据检索,统计分析, 查询业务, 由于节点数在 ICDS 中是无限扩展的, 因此在使用和分析的过程中,是不需要考虑数据量大小而引起的数据检索效率降低等问题,才能在第一时间得到 IT 分析的第一手数据。
5.3易维护
1、控制台管理
ICDS 对外提供了统一的控制平台, 所有的操作均可以通过这一个控制平台来实现对各个数据, 路由节点的监控,以及路由信息对各个控制台路由数据的统计信息等操作。对添加,删除,修改节点,以及对节点的信息进行相应的修改等问题。
可以对单节点的信息进行统计分析,包括数据录入信息, 数据检索信息, 以及节点中表的大小,记录条数等统计信息。
2、节点配置
在使用过程中 , 每个节点【 MAIN,ROUTE,DATANODE 】 , 均可以为DATANODE 节点,每个 DATANODE 节点配置均一样,只连接配置库, 然后通过配置库表中信息, 连接自己对应的数据库。只需要对各种不同级别的节点进行个别参数配置, 数据库中配置即可。
3、节点启动
每个节点配置好之后, 仅仅需要一个命令即可启动, 但是需要有启动顺序, 必须先启动 data 节点, 再启动 route 节点,最后启动 Main 节点。
如果先启动 Main 节点,再启动 route 节点,那将处于 recover 状态,在所有的 data 节点启动之后, route 将恢复 Normal 状态,最后 Main 恢复为 Normal 状态。
4、增加节点
如果数据量太大,或者由于检索效率等问题,需要对节点数进行增加节点, 这时候, 只需要添加节点之后, 把节点对应的 IP 地址, 用户名, 数据库名等基本登录信息即可, 然后软件会根据数据库配置响应的冗余数据库, 也可以把数据冗余到其他节点数据库。
5、更新节点
更新节点数据:如果由于原来的某些路由配置问题, 造成了某些数据库中数据量偏移平均值太多【比如每个库都是 100GB 左右,突然有一个节点达到了上 TB ,差
距较多】、或者根据特殊定义,对数据进行重新分配, 在数据处理的过程中,此节点将处于 RECOVER 状态, 不能再路由数据。
更新节点信息:只需要修改配置库上的信息,然后通过控制台刷新数据字典即可,控制台会根据节点的相关信息, 刷新响应节点的信息, 而不是所有的节点信息。
据上传,上传至数据结果库中,但是由于客户需求不尽相同，因此可以把结果库中的数据直接提供给客户，或者通过 ICDS 直接把数据返回给客户。针对一些离散数据查询，由每个节点同时提供数据业务,大大提高数据数据检索并发服务。在数据统计方面，由于每个节点均可以提供数据服务，并且每个节点的数据存储情况，可以自动重复数据冗余等机制，保证数据在每个节点上可以自由的组合，提供客户数据检索，统计服务。特点： a 数据块大小根据每个节点数据库来定制 b 每个数据节点均可以对外提供数据检索服务，大大提高了数据检索并发度 c 针对
离散的数据，比如个人话单查询，审计查询，检索等，ICDS 检索的 I/O 的量很小，远远小于目前的 HADOOP 等。操作步骤：数据检索的流程如下： 6、删除节点如果随着数据量变化的时候，可能由于某些原因，造成数据压力没有想象的大，需要把部分节点拆卸掉，这时候需要停止节点，进行 download 操作，卸载掉数据，写在数据的时候，软件会根据路由节点的信息重新把数据路由到其他节点上。路由完成之后，软件就会自动卸载掉此节点。 5.4 开放性每个节点都可以同时承担查询节点，因此所有的节点可以同时对外提供服务，可以提供自己数据的同时 JDBC，SPRING 等，也可以提供所有节点的数据检索支持 ICDS 所有节点路由、检索服务。节点 1、发起数据检索服务 2、数据检索把命令发给所有的路由节点 3、路由节点根据命令把数据分发给相应的数据 4、数据节点执行完操作之后，把数据返回给结果库 5、在通过 Mapreduce 把数据返回给查询节点 6、查询节点把数据返回给客户。 5.5 高效检索机制由于 datanode 所有的操作,均使用普通的 DB 来进行数据管理,因此可以在任意一个字段上建立索引,以及各种数据库支持的组合索引,支持相对较为灵活. 数据会通过 ICDS 路由直接发送到各个节点,,由各个节点进行数据检索统计,然后把数据检索的结果,进行数 6 和现有技术对比目前针对于大数据存储方案很多 , 例如 Oracle 的 EXADATA 一体机， HADOOP 开源框架， GREEN PLUM
产品等多种数据提供解决方案,但是每个方案均有自己的特点。冗余管理异构 ASM 冗余管理仅支持 Linux 自动备份冗余数据块各种操作系统异构数据库节点冗余 Linux 数据库节点冗余各种操作系统异构 EXDATA 投资扩展性灵活性存储方式提供服务接口数据检索支持各种关联不可以自由扩展 Oracle 数据库 Oracle 昂贵困难 HADOOP 开源容易 GREEN PLUM EMC 容易本例自主容易 References (参考文献 [1] Spring 攻略（美）GaryMak 人民邮电出版社 , 2005.. 可以自由扩展 HADOOP 文件系统文件系统可以自由扩展 PostgreSql 可以自由扩
展 Mysql/Post greSql/ora cle 等作者简介崔希宁男，1974 年生，河北邢台人。北京化工大学信息科学与技术学院计算机应用硕士。2000-2002 在信息产业部数据通讯研究所高级系统工程师， 2002-今在中国移动北京公司信息系统部系统维护中心任系统专家。从事支撑系统的系统设计建设，优化工作。核心期刊发表论文《面
向电信业务的端到端性能管理实现》《套装软件环境下系统构架的性能设计与管理》《一种云计算动态扩展算法和分布计算构架及在电信支撑系统中的实现》《智能信息生命周期理论及在电信支撑系统数据中心的应用》等著作。一个接口每个节点均是对外的接口不支持简单的数据关联简单的数据关联
实验设计与数据处理心得体会 刚开始选这门课的时候,我觉得这门课应该就是很难懂的课程,首先我们做过不少的实验了,当然任何自然科学都离不开实验,大多数学科(化工、化学、轻工、材料、环境、医药等)中的概念、原理与规律大多由实验推导与论证的,但我觉得每次到处理数据的时候都很困难,所以我觉得这就是门难懂的课程,却也就是很有必要去学的一门课程,它对于我们工科生来说也就是很有用途的,在以后我们实验的数据处理上有很重要的意义。 如何科学的设计实验,对实验所观测的数据进行分析与处理,获得研究观测对象的变化规律,就是每个需要进行实验的人员需要解决的问题。“实验设计与数据处理”课程就就是就是以概率论数理统计、专业技术知识与实践经验为基础,经济、科学地安排试验,并对试验数据进行计算分析,最终达到减少试验次数、缩短试验周期、迅速找到优化方案的一种科学计算方法。它主要应用于工农业生产与科学研究过程中的科学试验,就是产品设计、质量管理与科学研究的重要工具与方法,也就是一门关于科学实验中实验前的实验设计的理论、知识、方法、技能,以及实验后获得了实验结果,对实验数据进行科学处理的理论、知识、方法与技能的课程。 通过本课程的学习,我掌握了试验数据统计分析的基本原理,并能针对实际问题正确地运用,为将来从事专业科学的研究打下基础。这门课的安排很合理,由简单到复杂、由浅入深的思维发展规律,先讲单因素试验、双因素试验、正交试验、均匀试验设计等常用试验设计
方法及其常规数据处理方法、再讲误差理论、方差分析、回归分析等数据处理的理论知识,最后将得出的方差分析、回归分析等结论与处理方法直接应用到试验设计方法。 比如我对误差理论与误差分析的学习:在实验中,每次针对实验数据总会有误差分析,误差就是进行实验设计与数据评价最关键的一个概念,就是测量结果与真值的接近程度。任何物理量不可能测量的绝对准确,必然存在着测定误差。通过学习,我知道误差分为过失误差,系统误差与随机误差,并理解了她们的定义。另外还有对准确度与精密度的学习,了解了她们之间的关系以及提高准确度的方法等。对误差的学习更有意义的应该就是如何消除误差,首先消除系统误差,可以通过对照试验,空白试验,校准仪器以及对分析结果的校正等方法来消除;其次要减小随机误差,就就是要在消除系统误差的前提下,增加平行测定次数,可以提高平均值的精密度。 比如我对方差分析的理解:方差分析就是实验设计中的重要分析方法,应用非常广泛,它就是将不同因素、不同水平组合下试验数据作为不同总体的样本数据,进行统计分析,找出对实验指标影响大的因素及其影响程度。对于单因素实验的方差分析,主要步骤如下:建立线性统计模型,提出需要检验的假设;总离差平方与的分析与计算;统计分析,列出方差分析表。对于双因素实验的方差分析,分为两种,一种就是无交互作用的方差分析,另一种就是有交互作用的方差分析,对于这两种类型分别有各自的设计方法,但就是总体步骤都与单因素实验的方差分析一样。
大数据处理平台及可视化架构设计说明书 版本：1.0 变更记录
目录 1 1. 文档介绍 (3) 1.1文档目的 (3) 1.2文档范围 (3) 1.3读者对象 (3) 1.4参考文献 (3) 1.5术语与缩写解释 (3) 2系统概述 (4) 3设计约束 (5) 4设计策略 (6) 5系统总体结构 (7) 5.1大数据集成分析平台系统架构设计 (7) 5.2可视化平台系统架构设计 (11) 6其它 (14) 6.1数据库设计 (14) 6.2系统管理 (14) 6.3日志管理 (14)
1 1. 文档介绍 1.1 文档目的 设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析，清洗，ETL，同时可以编写模型支持后台统计分析算法。 设计数据可视化平台，应用于大数据的可视化和互动操作。 为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。 1.2 文档范围 大数据的处理，包括ETL、分析、可视化、使用。 1.3 读者对象 管理人员、开发人员 1.4 参考文献 1.5 术语与缩写解释
2 系统概述 大数据集成分析平台,分为9个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信的数据。 设计数据可视化平台 ,分为3个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。
3 设计约束 1.系统必须遵循国家软件开发的标准。 2.系统用java开发，采用开源的中间件。 3.系统必须稳定可靠，性能高，满足每天千万次的访问。 4.保证数据的成功抽取、转换、分析，实现高可信和高可用。
一、名词解释：（20分） 1. 准确度和精确度：同一处理观察值彼此的接近程度同一处理的观察值与其真值的接近程度 2. 重复和区组：试验中同一处理的试验单元数将试验空间按照变异大小分成若干个相对均匀的局部，每个局部 就叫一个区组 3回归分析和相关分析：对能够明确区分自变数和因变数的两变数的相关关系的统计方法： 对不能够明确区分自变数和因变数的两变数的相关关系的统计方法 4?总体和样本：具有共同性质的个体组成的集合从总体中随机抽取的若干个个体做成的总体 5. 试验单元和试验空间：试验中能够实施不同处理的最小试验单元所有试验单元构成的空间 二、填空：（20分） 1. 资料常见的特征数有：（3空）算术平均数方差变异系数 2. 划分数量性状因子的水平时，常用的方法：等差法等比法随机法（3空） 3. 方差分析的三个基本假定是（3空）可加性正态性同质性 4. 要使试验方案具有严密的可比性，必须（2空）遵循“单一差异”原则设置对照 5. 减小难控误差的原则是（3空）设置重复随机排列局部控制 6. 在顺序排列法中，为了避免同一处理排列在同一列的可能，不同重复内各处理的排列方式常采用（2空）逆向式 阶梯式 7. 正确的取样技术主要包括：（）确定合适的样本容量采用正确的取样方法 8. 在直线相关分析中，用（相关系数）表示相关的性质，用（决定系数）表示相关的程度。 三、选择：（20分） 1试验因素对试验指标所引起的增加或者减少的作用，称作（C） A、主要效应 B、交互效应 C、试验效应 D、简单效应 2. 统计推断的目的是用（A） A、样本推总体 B、总体推样本 C、样本推样本 D、总体推总体 3. 变异系数的计算方法是（B） 4. 样本平均数分布的的方差分布等于（A） 5. t检验法最多可检验（C）个平均数间的差异显著性。 6. 对成数或者百分数资料进行方差分析之前，须先对数据进行（B） A、对数 B、反正弦 C、平方根 D、立方根 7. 进行回归分析时，一组变量同时可用多个数学模型进行模拟，型的数据统计学标准是（B） A、相关系数 B、决定性系数 C、回归系数 D、变异系数 8. 进行两尾测验时，u0.10=1.64,u0.05=1.96,u0.01=2.58,那么进行单尾检验，u0.05=（A） 9. 进行多重比较时，几种方法的严格程度（LSD\SSR\Q）B 10. 自变量X与因变量Y之间的相关系数为0.9054，则Y的总变异中可由X与Y的回归关系解释的比例为（C） A、0.9054 B、0.0946 C、0.8197 D、0.0089 四、简答题：（15分） 1. 回归分析和相关分析的基本内容是什么？（6分）配置回归方程，对回归方程进行检验，分析多个自变量的主次 效益，利用回归方程进行预测预报： 计算相关系数，对相关系数进行检验 2. 一个品种比较试验，4个新品种外加1个对照品种，拟安排在一块具有纵向肥力差异的地块中，3次重复（区组），各重复内均随机排列。请画出田间排列示意图。（2分） 3. 田间试验中，难控误差有哪些？（4分）土壤肥力，小气候，相邻群体间的竞争差异，同一群体内个体间的竞争 差异。 4随即取样法包括哪几种方式？（3分）简单随机取样法分层随机取样法整群简单随机取样法 五、计算题（25分） 1. 研究变数x与y之间的关系，测得30组数据，经计算得出：x均值=10，y均值=20，l xy =60, l yy=300,r=0.6。根
目录 目录 ................................................................................................................... 错误!未指定书签。 1.引言 ................................................................................................................ 错误!未指定书签。 1.1背景与目的.......................................................................................... 错误!未指定书签。 1.2专业术语及说明.................................................................................. 错误!未指定书签。 1.3参考资料.............................................................................................. 错误!未指定书签。 2. 设计概述....................................................................................................... 错误!未指定书签。 2.1任务及目标.......................................................................................... 错误!未指定书签。 2.2需求概述.............................................................................................. 错误!未指定书签。 2.3运行环境概述...................................................................................... 错误!未指定书签。 3.系统详细需求分析......................................................................................... 错误!未指定书签。 3.1详细需求分析...................................................................................... 错误!未指定书签。 4.总体设计方案................................................................................................. 错误!未指定书签。 4.1系统总体结构...................................................................................... 错误!未指定书签。 4.2系统模块划分...................................................................................... 错误!未指定书签。 5.系统详细设计................................................................................................. 错误!未指定书签。 5.1系统结构设计...................................................................................... 错误!未指定书签。 5.2系统功能模块详细设计...................................................................... 错误!未指定书签。 6.信息编码设计................................................................................................. 错误!未指定书签。 6.1代码结构设计...................................................................................... 错误!未指定书签。 6.2代码命名规则...................................................................................... 错误!未指定书签。 7.维护设计......................................................................................................... 错误!未指定书签。 7.1系统的可靠性和安全性...................................................................... 错误!未指定书签。 7.2系统及用户维护设计.......................................................................... 错误!未指定书签。 7.3系统扩充设计...................................................................................... 错误!未指定书签。 8.系统配置......................................................................................................... 错误!未指定书签。 8.1硬件配置.............................................................................................. 错误!未指定书签。 8.2软件配置.............................................................................................. 错误!未指定书签。 9.关键技术......................................................................................................... 错误!未指定书签。 9.1关键技术的一般说明.......................................................................... 错误!未指定书签。 9.2关键技术的实现方案.......................................................................... 错误!未指定书签。 10. 测试............................................................................................................. 错误!未指定书签。 10.1测试方案............................................................................................ 错误!未指定书签。
计算平台 概要设计说明书 作者：日期：2013-01-28批准：日期： 审核：日期： （版权所有，翻版必究）
文件修改记录
目录 1.引言 ........................................................................................... 1.1编写目的................................................. 1.2术语与缩略词............................................. 1.3对象及范围............................................... 1.4参考资料................................................. 2.系统总体设计 ............................................................................. 2.1需求规定................................................. 2.1.1数据导入............................................ 2.1.2数据运算............................................ 2.1.3运算结果导出........................................ 2.1.4系统监控............................................ 2.1.5调度功能............................................ 2.1.6自动化安装部署与维护................................ 2.2运行环境................................................. 2.3基本设计思路和处理流程................................... 2.4系统结构................................................. 2.4.1大数据运算系统架构图................................ 2.4.2hadoop体系各组件之间关系图......................... 2.4.3计算平台系统功能图.................................. 2.4.4系统功能图逻辑说明.................................. 2.4.5计算平台业务流程图..................................
技术向：如何设计企业级大数据分析平台？ 传统企业的OLAP几乎都是基于关系型数据库，在面临“大数据”分析瓶颈，甚至实时数据分析的挑战时，在架构上如何应对？本文试拟出几个大数据OLAP平台的设计要点，意在抛砖引玉。 突破设计原则 建设企业的大数据管理平台（Big Data Management Platform），第一个面临的挑战来自历史数据结构，以及企业现有的数据库设计人员的观念、原则。数据关系、ACID 在关系数据库几十年的统治时期是久得人心，不少开发人员都有过为文档、图片设计数据表，或将文档、图片序列化为二进制文件存入关系数据库的经历。在BDMP之上，我们需要对多种不同的格式的数据进行混合存储，这就必须意识到曾经的原则已经不再适用——One size dosen’t fit all，新的原则——One size fits a bunch. 以下是我列出的一些NoSQL数据库在设计上的模式： 文档数据库：数据结构是类JSON，可以使用嵌入（Embed）或文档引用（Reference）的方式来为两个不同的文档对象建立关系；
列簇数据库：基于查询进行设计，有宽行（Wild Rows）和窄行（Skinny Rows）的设计决策； 索引数据库：基于搜索进行设计，在设计时需要考虑对对每个字段内容的处理（Analysis）。 搜索和查询的区别在于，对返回内容的排序，搜索引擎侧重于文本分析和关键字权重的处理上，而查询通常只是对数据进行单列或多列排序返回即可。 数据存储的二八原则 不少企业在解决海量数据存储的问题上，要么是把关系数据库全部往Hadoop上一导入，要么是把以前的非结构化数据如日志、点击流往NoSQL数据库中写入，但最后往往发现前者还是无法解决大数据分析的性能瓶颈，后者也无法回答数据如何发挥业务价值的问题。 在数据的价值和使用上，其实也存在着二八原则： 20%的数据发挥着80%的业务价值； 80%的数据请求只针对20%的数据。 目前来看，不管是数据存储处理、分析还是挖掘，最完整和成熟的生态圈还是基于关系型数据库，比如报表、联机分析等工具；另外就是数据分析人员更偏重于查询分析语言如SQL、R、Python数据分析包而不是编程语言。 企业大数据平台建设的二八原则是，将20%最有价值的数据——以结构化的形式存储在关系型数据库中供业务人员进行查询和分析；而将80%的数据——以非结构化、原始形式存储在相对廉价的Hadoop等平台上，供有一定数据挖掘技术的数据分析师或数据工
大数据平台构思方案 （项目需求与技术方案） 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发
展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。
一、名词解释：（20分） 1.准确度和精确度：同一处理观察值彼此的接近程度同一处理的观察值与其真值的接近程度 2.重复和区组：试验中同一处理的试验单元数将试验空间按照变异大小分成若干个相对均匀的局部，每个局部就叫一个区组 3回归分析和相关分析：对能够明确区分自变数和因变数的两变数的相关关系的统计方法： 对不能够明确区分自变数和因变数的两变数的相关关系的统计方法 4.总体和样本：具有共同性质的个体组成的集合从总体中随机抽取的若干个个体做成的总体 5.试验单元和试验空间：试验中能够实施不同处理的最小试验单元所有试验单元构成的空间 二、填空：（20分） 1.资料常见的特征数有：（3空）算术平均数方差变异系数 2.划分数量性状因子的水平时，常用的方法：等差法等比法随机法（3空） 3.方差分析的三个基本假定是（3空）可加性正态性同质性 4.要使试验方案具有严密的可比性，必须（2空）遵循“单一差异”原则设置对照 5.减小难控误差的原则是（3空）设置重复随机排列局部控制 6.在顺序排列法中，为了避免同一处理排列在同一列的可能，不同重复内各处理的排列方式常采用（2空）逆向式阶梯式 7.正确的取样技术主要包括：（）确定合适的样本容量采用正确的取样方法 8.在直线相关分析中，用（相关系数）表示相关的性质，用（决定系数）表示相关的程度。 三、选择：（20分） 1试验因素对试验指标所引起的增加或者减少的作用，称作（C） A、主要效应 B、交互效应 C、试验效应 D、简单效应 2.统计推断的目的是用（A） A、样本推总体 B、总体推样本 C、样本推样本 D、总体推总体 3.变异系数的计算方法是（B） 4.样本平均数分布的的方差分布等于（A） 5.t检验法最多可检验（C）个平均数间的差异显著性。 6.对成数或者百分数资料进行方差分析之前，须先对数据进行（B） A、对数 B、反正弦 C、平方根 D、立方根 7.进行回归分析时，一组变量同时可用多个数学模型进行模拟，型的数据统计学标准是（B） A、相关系数 B、决定性系数 C、回归系数 D、变异系数 8.进行两尾测验时，u0.10=1.64,u0.05=1.96,u0.01=2.58,那么进行单尾检验，u0.05=(A) 9.进行多重比较时，几种方法的严格程度（LSD\SSR\Q）B 10.自变量X与因变量Y之间的相关系数为0.9054，则Y的总变异中可由X与Y的回归关系解释的比例为（C） A、0.9054 B、0.0946 C、0.8197 D、0.0089 四、简答题：（15分） 1.回归分析和相关分析的基本内容是什么？（6分）配置回归方程，对回归方程进行检验，分析多个自变量的主次效益，利用回归方程进行预测预报： 计算相关系数，对相关系数进行检验 2.一个品种比较试验，4个新品种外加1个对照品种，拟安排在一块具有纵向肥力差异的地块中，3次重复（区组），各重复内均随机排列。请画出田间排列示意图。（2分） 3.田间试验中，难控误差有哪些？（4分）土壤肥力，小气候，相邻群体间的竞争差异，同一群体内个体间的竞争差异。 4随即取样法包括哪几种方式？（3分）简单随机取样法分层随机取样法整群简单随机取样法 五、计算题（25分） 1.研究变数x与y之间的关系，测得30组数据，经计算得出：x均值=10，y均值=20，l xy=60, l yy=300,r=0.6。根据所得数据建立直线回归方程。（5分）a=2 b=1.8 y=2+1.8 x 2.完成下列方差分析表，计算出用LSR法进行多重比较时各类数据填下表：
上海大学2014～2015学年秋季学期研究生课程考试课程名称：数据处理与实验设计课程编号：11S009003论文题目：正交实验在锂离子电极材料制备中的应用 研究生姓名：李艳峰学号：14722191 论文评语： 成绩：任课教师： 评阅日期：
正交实验在锂离子电极材料制备中的应用 李艳峰 （上海大学环境与化学工程学院，上海200444） 摘要：锂源、反应温度、反应时间和锂钛摩尔比是影响锂离子电极负极材料Li4Ti5O12制备的重要因素，本文利用正交实验L9 (34)的方法对液相法制备Li4Ti5O12的各种影响因素进行进一步优化，从而得到最优水平组合，并对各种影响因素进行权重分析。最后，利用正交实验确定了液相法制备Li4Ti5O12的最佳工艺：烧结温度为750℃，烧结时间为8h，LiOH·H2O 为锂源，原料中锂钛摩尔比为0.85。 关键词：正交实验设计；液相法；影响因素； 中图分类号：O242.1文献标识码：A The application of orthogonal experimental design on liquid method in the production of Lithium-ion electrode materials Yanfeng Li (School of Environmental and Chemical Engineering, Shanghai University, Shanghai 200444, China) Abstract:lithium source, reaction temperature, reaction time and lithium titanium molar ratio are important factors for the preparation of Li4Ti5O12 conditions of liquid method. Based on the single factor experiment, this study use L9 (34) orthogonal experiments to optimized the removal of the preparation of Li4Ti5O12 of liquid method. The optimal technological parameters of solution method determined by the orthogonal experiment were as follows: sintering temperature was 750℃, sintering time was 8 h, the lithium resource was LiOH·H2O and the mole ration of Li to Ti was 0.85. Key words: Orthogonal experimental design;Liquid method; Factors;
试验设计与数据处理 学院 班级 学号 学生姓名 指导老师
第一章 4、 相对误差18.20.1%0.0182x mg mg ?=?= 故100g 中维生素C 的质量范围为：±。 5、1）、压力表的精度为级，量程为， 则 max 0.2 1.5%0.00333 0.375 8 R x MPa KPa x E x ?=?==?=== 2）、1mm 的汞柱代表的大气压为， 所以 max 2 0.1330.133 1.662510 8 R x KPa x E x -?=?===? 3）、1mm 水柱代表的大气压为gh ρ，其中2 9.8/g m s = 则： 3max 33 9.8109.810 1.22510 8 R x KPa x E x ---?=???===? 6. 样本测定值 算数平均值 几何平均值 调和平均值 标准差s 标准差σ 样本方差S 2 总体方差σ2 算术平均误差△ 极差R 7、S ?2＝，S ?2＝ F ＝S ?2/ S ?2＝= 而F （）=，= 所以F （）< F < 两个人测量值没有显著性差异，即两个人的测量方法的精密度没有显著性差异。 |||69.947|7.747 6.06 p p d x =-=>
分析人员A分析人员B 8样本方差1 8样本方差2 10Fa值 104F值 6 68 4705 6 6 88 8.旧工艺新工艺 %% %% %% %% %% %% %% %% %% % % % % t-检验: 双样本异方差假设 变量 1变量 2 平均 方差 观测值139假设平均差0 df8 t Stat-38. P(T<=t) 单尾0 t 单尾临界 P(T<=t) 双尾0 t 双尾临界 F-检验双样本方差分析
目录 目录 (1) 1.引言 (2) 1.1背景与目的 (2) 1.2专业术语及说明 (3) 1.3参考资料 (3) 2. 设计概述 (4) 2.1任务及目标 (4) 2.2需求概述 (5) 2.3运行环境概述 (5) 3.系统详细需求分析 (6) 3.1详细需求分析 (6) 4.总体设计方案 (7) 4.1系统总体结构 (7) 4.2系统模块划分 (8) 5.系统详细设计 (9) 5.1系统结构设计 (9) 5.2系统功能模块详细设计 (10) 6.信息编码设计 (11) 6.1代码结构设计 (11) 6.2代码命名规则 (12)
7.维护设计 (12) 7.1系统的可靠性和安全性 (12) 7.2系统及用户维护设计 (12) 7.3系统扩充设计 (12) 8.系统配置 (13) 8.1硬件配置 (13) 8.2软件配置 (13) 9.关键技术 (13) 9.1关键技术的一般说明 (13) 9.2关键技术的实现方案 (14) 10. 测试 (14) 10.1测试方案 (14) 1.引言 1.1背景与目的 当下互联网和计算机技术越来越多的被各行各业利用，于是产生了海量的数据。进入
2012年后，“大数据”一词越来越多的被提及，人们用它来描述和定义信息爆照时代产生的海量数据。 显而易见地，数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能还没有意识到，但随着时间的推移，人们将越来越多的意识到数据对企业的重要性。而这就需要有一种框架来分析处理这种大数据。对于电力行业更是如此，电力方面每时每刻都在产生着大量的数据，而对这些数据的分析和利用有着巨大的市场前景和意义。 1.2专业术语及说明 Hadoop ：一种分布式基础架构，由Apache基金会开发。用户可以在不了解分布是底层细节的情况下，开发分布式程序。充分利用集群的威力运算和存储。Hadoop实现了一个分布式系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。 Hbase：是一个分布式的、面向列的开源数据库。 Mapreduce：是一种编程模型，用于大规模数据集（大于1T）的并行运算。当前的软件实现是指定一个Map函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce函数，用来保证所有的映射的键值对中的每一个共享相同的键组。 1.3参考资料
大数据平台建设方案 （项目需求与技术方案） 一、项目背景 “十三五期间，随着我国现代信息技术的蓬勃发展，信息化建 设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新IT潮风起云涌，信息化应用进入一个“新 常态。***（某政府部门）为积极应对“互联网+和大数据时代的 机遇和挑战，适应全经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合社会经济发展资源，打造集数据采集、数据处、监测管、预测预警、应急指挥、可视化平台于一体的大数据平 台，以信息化提升数据化管与服务能，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管、用数据决策、用数据创新，把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运监测分析，实现企业信用社会化监督，建规范化共建共享投资项目管体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控，促进经济持续健康发
展。 1、制定统一信息资源管规范，宽数据获取渠道，整合业务 信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳各相关系统数据资源的关联性，编制数据资源目录，建 信息资源交换管标准体系，在业务可性的基础上，实现数据信息共享，推进信息公开，建跨部门跨领域经济形势分析制。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动的原则，全面提升信息化建设水平，促进全 经济持续健康发展。
Fisher传统的试验设计被誉为第一个里程碑。正交表的构造和开发是第二个里程碑，日本学者田口玄一开开发的SN比试验设计则称为第三个里程碑。 第一章试验设计 1.试验包括：验证性试验、探索性试验。 2.试验设计的要求：效率、精度。（效率由设计保证，精度由数据处理、分析保证。） 3.试验方案设计的4个基本要素：目标、目标函数、因素、水平。 4.目标：进行试验所要达到的目的。 目标可以定量也可定性。 5.目标函数：表示目标的函数Y(x)。有显示目标函数、隐式目标函数。 6.因素：对目标产生影响的自变量或试验条件，也称因子。分为可控因素与不可控因素。 7.水平：每个因素所处的状态，也称位级。 8.选取因素的原则：抓住主要因素及多因素之间的交互作用；抓住非主要因素，在试验中保持不变，消除其干扰。因素用大写字母表示。
9.按所取因素的多少，可把试验分为单因素试验、两因素试验、多因素试验。 10.交互作用：就是这些因素在同时改变水平时，其效果会超过单独改变某一因素水平时的效果。 11.水平的选取原则：等间距；三水平为宜；是具体的；技术上可行。 12.误差包括：系统误差、随机误差。 13.费希尔Fisher三原则（作用：进行误差控制）：重复测试、随机化、区组控制。 14.重复测试，作用：减小误差。 15.随机化是使系统误差转化为偶然误差的有效方法。原则：进行随机化，使其转化为随机误差。 16.区组控制，原则：机会均等，公平原则。区组控制原则实质上是机会均等原则，实行区组控制，可使设备条件由存在差异转化为没有差异，在区组控制中也把区组当做因素来对待，并称之为区组因素。 17.试验设计法和现行做法的不同点：对于不能实现控制的环境条件及未知原因对试验数据产生的干扰和影响程度，可以做出客观
大数据处理综合处理服务平台的设计与实现 （广州城市职业学院广东广州510405） 摘要：在信息技术高速发展的今天，金融业面临的竞争日趋激烈，信息的高度共享和数据的安全可靠是系统建设中优先考虑的问题。大数据综合处理服务平台支持灵活构建面向数据仓库、实现批量作业的原子化、参数化、操作简单化、流程可控化，并提供灵活、可自定义的程序接口，具有良好的可扩展性。该服务平台以SOA为基础，采用云计算的体系架构，整合多种ETL技术和不同的ETL工具，具有统一、高效、可拓展性。该系统整合金融机构的客户、合约、交易、财务、产品等主要业务数据，提供客户视图、客户关系管理、营销管理、财务分析、质量监控、风险预警、业务流程等功能模块。该研究与设计打破跨国厂商在金融软件方面的垄断地位，促进传统优势企业走新型信息化道路，充分实现了“资源共享、低投入、低消耗、低排放和高效率”，值得大力发展和推广。 关键词：面向金融，大数据，综合处理服务平台。 一、研究的意义 目前，全球IT行业讨论最多的两个议题，一个是大数据分析“Big Data”，一个是云计算“Cloud Computing”。
中国五大国有商业银行发展至今，积累了海量的业务数据，同时还不断的从外界收集数据。据IDC（国际数据公司）预测，用于云计算服务上的支出在接下来的5 年间可能会出现3 倍的增长，占据IT支出增长总量中25%的份额。目前企业的各种业务系统中数据从GB、TB到PB量级呈海量急速增长，相应的存储方式也从单机存储转变为网络存储。传统的信息处理技术和手段，如数据库技术往往只能单纯实现数据的录入、查询、统计等较低层次的功能，无法充分利用和及时更新海量数据，更难以进行综合研究，中国的金融行业也不例外。中国五大国有商业银行发展至今，积累了海量的业务数据，同时还不断的从外界收集数据。通过对不同来源，不同历史阶段的数据进行分析，银行可以甄别有价值潜力的客户群和发现未来金融市场的发展趋势，针对目标客户群的特点和金融市场的需求来研发有竞争力的理财产品。所以，银行对海量数据分析的需求是尤为迫切的。再有，在信息技术高速发展的今天，金融业面临的竞争日趋激烈，信息的高度共享和数据的安全可靠是系统建设中优先考虑的问题。随着国内银行业竞争的加剧，五大国有商业银行不断深化以客户为中心，以优质业务为核心的经营理念，这对银行自身系统的不断完善提出了更高的要求。而“云计算”技术的推出，将成为银行增强数据的安全性和加快信息共享的速度，提高服务质量、降低成本和赢得竞争优势的一大选择。
常见的大数据平台架构设计思路 近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层难以直接利用大数据大数据，大数据和业务产生了巨大的鸿沟，这道鸿沟的出现导致企业在使用大数据的过程中出现数据不可知、需求难实现、数据难共享等一系列问题，本文介绍了一些数据平台设计思路来帮助业务减少数据开发中的痛点和难点。 本文主要包括以下几个章节: 本文第一部分介绍一下大数据基础组件和相关知识。第二部分会介绍lambda架构和kappa架构。第三部分会介绍lambda和kappa架构模式下的一般大数据架构第四部分介绍裸露的数据架构体系下数据端到端难点以及痛点。第五部分介绍优秀的大数据架构整体设计从第五部分以后都是在介绍通过各种数据平台和组件将这些大数据组件结合起来打造一套高效、易用的数据平台来提高业务系统效能，让业务开发不在畏惧复杂的数据开发组件，无需关注底层实现，
只需要会使用SQL就可以完成一站式开发，完成数据回流，让大数据不再是数据工程师才有的技能。 一、大数据技术栈 大数据整体流程涉及很多模块，每一个模块都比较复杂，下图列出这些模块和组件以及他们的功能特性，后续会有专题去详细介绍相关模块领域知识，例如数据采集、数据传输、实时计算、离线计算、大数据储存等相关模块。 二、lambda架构和kappa架构 目前基本上所有的大数据架构都是基于lambda和kappa 架构，不同公司在这两个架构模式上设计出符合该公司的数据体系架构。lambda 架构使开发人员能够构建大规模分布式数据处理系统。它具有很好的灵活性和可扩展性，也对硬件故障和人为失误有很好的容错性，关于lambda架构可以在网上搜到很多相关文章。而kappa架构解决了lambda架构存在的两套数据加工体系，从而带来的各种成本问题，这也是目前流批一体化研究方向，很多企业已经开始使用这种更为先进的架构。 Lambda架构