大数据平台概要设计说明书

计算平台

概要设计说明书

文件编号 受控编号

版次 1.0 密级 内部公开

总页数 42 附录

作者：

日期： 2013-01-28

批准：

日期：

审核： 日期：

（版权所有，翻版必究） 文件修改记录

修改日期 修改状态 修改页码及条款 修改人 审核人 批准人

目 录

1. 引言 ............................................................................................

1.1 编写目的 ...............................................

1.2 术语与缩略词 ...........................................

1.3 对象及范围 .............................................

1.4 参考资料 ...............................................

2. 系统总体设计 .............................................................................

2.1 需求规定 ...............................................

2.1.1 ..................................................................................... 数据导入

2.1.2 ..................................................................................... 数据运算

2.1.3 ............................................................................. 运算结果导出

2.1.4 ..................................................................................... 系统监控

2.1.5 ..................................................................................... 调度功能

2.1.6 ............................................................. 自动化安装部署与维护

2.2 运行环境 ...............................................

2.3 基本设计思路和处理流程 .................................

2.4 系统结构 ...............................................

2.4.1 ............................................................. 大数据运算系统架构图

2.4.2 ................................................ hadoop体系各组件之间关系图

2.4.3 ................................................................. 计算平台系统功能图

2.4.4 ................................................................. 系统功能图逻辑说明

2.4.5 ................................................................. 计算平台业务流程图 2.5 尚未解决的问题 .........................................

3. 模块/功能设计 ............................................................................

3.1 计算驱动模块 ...........................................

3.1.1 ..................................................................................... 设计思路

3.1.2 ......................................................................................... 流程图

3.1.3 ..................................................................................... 处理逻辑

3.2 调度模块 ...............................................

3.2.1 ..................................................................................... 设计思路

3.2.2 ......................................................................................... 流程图

3.2.3 ..................................................................................... 处理逻辑

3.3 自动化安装部署模块 .....................................

3.3.1 ..................................................................................... 设计思路

3.3.2 ..................................................................................... 处理逻辑

3.4 调度模块与计算驱动模块交互流程 .........................

3.4.1 ................................................................................. 处理流程图

3.4.2 ..................................................................................... 处理逻辑

3.4.3 ................................................ hadoop驱动模块调用驱动接口

3.4.4 ....................................... 调度模块接收hadoop执行状态接口

3.5 调度模块与kettle交互流程 ..............................

3.5.1 ................................................................................. 处理流程图

3.5.2 ..................................................................................... 处理逻辑

3.6 对调度任务运行过程进行监控流程 ......................... 3.6.1 ................................................................................. 处理流程图

3.6.2 ..................................................................................... 处理逻辑

3.7 对hadoop驱动任务运行过程进行监控流程 ..................

3.7.1 ................................................................................. 处理流程图

3.7.2 ..................................................................................... 处理逻辑

3.8 对操作系统/应用程序监控流程 ............................

3.8.1 ................................................................................. 处理流程图

3.8.2 ..................................................................................... 处理逻辑

3.9 监控报警模块 ...........................................

3.9.1 ..................................................................................... 设计思路

3.9.2 ......................................................................................... 流程图

3.9.3 ..................................................................................... 处理逻辑