旗开得胜
读万卷书 行万里路 1 1 概述 ................................................................................................................................................................... 3
1.1 建设背景 .................................................................................................................................................. 3
1.2 设计范围 .................................................................................................................................................. 3
1.3 总体设计原则 .......................................................................................................................................... 3
2 系统平台设计 .................................................................................................................................................. 5
2.1 项目需求 .................................................................................................................................................. 5
2.2 设计思想 .................................................................................................................................................. 7
2.3 系统方案 .................................................................................................................................................. 7
2.4 系统优势和特点 ..................................................................................................................................... 8
2.5 作业调度系统方案 .............................................................................................................................. 10
2.6 分布式数据处理系统方案 .................................................................................................................. 11
2.7 分布式数据库方案 .............................................................................................................................. 12
2.8 分布式并行挖掘算法方案 .................................................................................................................. 12
3 系统架构 ........................................................................................................................................................ 13
3.1 存储层基本组成 .................................................................................................................................. 13
3.2 Jobkeeper系统基本组成 ................................................................................................................. 17
3.3 分布式数据立方系统基本组成 ......................................................................................................... 19
3.4 数据挖掘层基本组成 .......................................................................................................................... 29
4 系统架构 ........................................................................................................................................................ 31
4.1 安全保障体系框架 .............................................................................................................................. 35
4.2 云计算平台的多级信任保护 .............................................................................................................. 37
4.3 基于多级信任保护的访问控制 ......................................................................................................... 42
4.4 云平台安全审计 .................................................................................................................................. 45
5关键技术 ............................................................................................................................................................. 50
5.1 数据处理集群的可靠性与负载均衡技术 ......................................................................................... 50 旗开得胜
读万卷书 行万里路 2 5.2 计算与存储集群的可靠性与负载均衡 ............................................................................................. 54
5.3 计算与存储集群的负载均衡处理 ..................................................................................................... 62
5.4 分布式文件系统的可靠性设计 ......................................................................................................... 65
5.5 分布式数据立方可靠性设计 .............................................................................................................. 68
5.6 分布式并行计算可靠性设计 .............................................................................................................. 70
5.7 查询统计计算可靠性鱼负载均衡设计 ............................................................................................. 73
5.8数据分析与数据挖掘 ................................................................................................................................ 76
6大数据挖掘平台介绍 ........................................................................................................................................ 88
6.1平台介绍 ..................................................................................................................................................... 88
6.2功能介绍 ..................................................................................................................................................... 88
6.3可视化查询介绍 ......................................................................................................................................... 92
6.4分类算法介绍 ............................................................................................................................................. 93
6.5聚类算法介绍 ............................................................................................................................................. 94
