大数据平台解决方案

大数据平台技术方案

1. 大数据平台技术方案 .................................................................................. 3

1.1 技术路线 .......................................................................................................... 3

1.2 动静态信息交换 .............................................................................................. 4

1.2.1 系统概述 .................................................................................................. 4

1.2.2 数据采集服务 .......................................................................................... 4

1.2.3 数据采集服务配置 .................................................................................. 5

1.2.4 平台认证服务 .......................................................................................... 5

1.2.5 动静态数据发布订阅服务 ...................................................................... 5

1.2.6 负载均衡服务 .......................................................................................... 6

1.2.7 协议分析转换功能 .................................................................................. 6

1.2.8 动静态数据分发服务 .............................................................................. 6

1.2.9 数据分发服务配置 .................................................................................. 6

1.2.10 数据缓存服务 .......................................................................................... 7

1.2.11 数据交换信息日志 .................................................................................. 7

1.3 大数据存储 ...................................................................................................... 7

1.3.1 数据仓库工具 .......................................................................................... 8

1.3.2 大数据在线存储 ...................................................................................... 8

1.3.3 大数据离线存储 .................................................................................... 10

1.4 数据清洗转换 ................................................................................................ 12

1.4.1 流数据处理框架 .................................................................................... 12

1.4.2 分布式ETL工具 ................................................................................... 12

1.4.3 ETL功能介绍 ............................................................................................ 13

1.5 大数据处理 .................................................................................................... 15

1.5.1 实时数据流处理 .................................................................................... 15

1.5.2 数据挖掘分析引擎 ................................................................................ 15

1.6 大数据服务引擎 ............................................................................................ 16

1.6.1 大数据配置服务管理 ............................................................................ 16

1.6.2 大数据在线分析 .................................................................................... 16

1.6.3 大数据离线分析 .................................................................................... 17

1.6.4 大数据可视化管理 ................................................................................ 20

1.7 大数据全文检索 ............................................................................................ 21 1.8 调度与业务监控 ............................................................................................ 21

1.9 资源与安全 .................................................................................................... 22

1.9.1 租户管理 ................................................................................................ 22

1.9.2 资源分配 ................................................................................................ 23

1.9.3 权限管理 ................................................................................................ 23

1.10 接口封装 ........................................................................................................ 23

1. 大数据平台技术方案

1.1 概述

大数据平台必须具有高度可扩展性、实时性、高性能、低延迟分析、高度容错性、可用性、支持异构环境、开放性、易用性，同时也希望具有较低成本；其核心技术包括大规模数据流处理技术以及大规模数据管理、分析技术。

系统技术架构采用面向服务的体系结构（Service-Oriented Architecture,

SOA），遵循分层原则，每一层为上层提供服务。将大数据平台进行逐层解析，从下至上分别是数据接口层、文件存储层、数据存储层、数据分析层、数据层、业务控制层、表现层、系统监控层。

（1）数据接口层：为保证数据接入层的接口灵活性，采用Restful风格接口实现方式，Restful有轻量级以及通过 HTTP 直接传输数据的特性，Web 服务的 RESTful 方法已经成为最常见的方法。同时数据的接入及交换采用Kafka集群和WebService方式，Kafka是一种高吞吐量的分布式发布订阅消息系统，可以满足系统与大数据平台的高并发量数据交换。Web Service是一个平台独立的，低耦合的，自包含的、基于可编程的web的应用程序，可使用开放的XM标准来描述、发布、发现、协调和配置这些应用程序，用于开发分布式的互操作的应用程序。

（2）文件存储层：为满足大数据的存储要求，文件存储采用HDFS文件系统，Hadoop分布式文件系统(HDFS)是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

（3）数据存储层：根据本工程数据资源设计的需要，数据存储分别采用关系数据库、内存数据库Redis、分布式大数据存储。